跳到正文
原文
inclusionAI Hugging Face models· inclusionAI·· 8 天前AI 评分59

inclusionAI 发布 Ling-3.0-tiny:7.9B 总参数、1.3B 激活的混合推理 MoE 模型

inclusionAI/Ling-3.0-tiny

AI 导读

inclusionAI 发布轻量混合推理 MoE 模型 Ling-3.0-tiny,总参数 7.9B,每 token 仅激活 1.3B,采用 3:1 KDA-MLA 混合线性架构加 128 专家稀疏 MoE FFN。

来源:inclusionAI Hugging Face models · huggingface.co