inclusionAI Hugging Face models· inclusionAI·· 8 天前精选AI 评分62
inclusionAI 开源 Ling-flash-2.0:100B 总参数、6.1B 激活的 MoE 模型
inclusionAI/Ling-flash-2.0
AI 导读
inclusionAI 正式开源 Ling 2.0 架构下的第三个 MoE 大语言模型 Ling-flash-2.0,总参数 100B、激活参数 6.1B(非嵌入 4.8B),基于 20T+ tokens 数据训练并经 SFT 和多阶段强化学习。
推荐理由
官方给出参数结构、基准对比和推理速度数据,读者可据此评估小激活 MoE 替代 40B 稠密模型的可行性。
来源:inclusionAI Hugging Face models · huggingface.co