跳到正文
原文
inclusionAI Hugging Face models· inclusionAI·· 8 天前精选AI 评分62

inclusionAI 开源 Ling-flash-2.0:100B 总参数、6.1B 激活的 MoE 模型

inclusionAI/Ling-flash-2.0

AI 导读

inclusionAI 正式开源 Ling 2.0 架构下的第三个 MoE 大语言模型 Ling-flash-2.0,总参数 100B、激活参数 6.1B(非嵌入 4.8B),基于 20T+ tokens 数据训练并经 SFT 和多阶段强化学习。

推荐理由

官方给出参数结构、基准对比和推理速度数据,读者可据此评估小激活 MoE 替代 40B 稠密模型的可行性。

来源:inclusionAI Hugging Face models · huggingface.co