inclusionAI Hugging Face models· inclusionAI·· 8 天前AI 评分59
inclusionAI 发布 Ling-3.0-tiny:7.9B 总参数、1.3B 激活的混合推理 MoE 模型
inclusionAI/Ling-3.0-tiny
AI 导读
inclusionAI 发布轻量混合推理 MoE 模型 Ling-3.0-tiny,总参数 7.9B,每 token 仅激活 1.3B,采用 3:1 KDA-MLA 混合线性架构加 128 专家稀疏 MoE FFN。
来源:inclusionAI Hugging Face models · huggingface.co