inclusionAI Hugging Face models· inclusionAI·· 8 天前精选AI 评分60
inclusionAI 开源 Ling-mini-2.0:16B 总参数 MoE 模型,激活仅 1.4B
inclusionAI/Ling-mini-2.0
AI 导读
inclusionAI 开源 Ling 2.0 系列首个模型 Ling-mini-2.0,总参数 16.26B、每 token 激活 1.4B(非嵌入 789M),采用 1/32 激活比 MoE 架构,称可达到 7–8B dense 模型的等效性能,在 H20 上简单 QA 场景生成速度超过 300 token/s,支持 128K 上下文(YaRN)。
推荐理由
官方发布了完整的参数配置、推理速度、训练吞吐和预训练检查点,读者可以据此评估小激活 MoE 在端侧和继续训练中的可用性。
来源:inclusionAI Hugging Face models · huggingface.co