inclusionAI 开源 Ling-3.0 系列基础权重,含 Ling-3.0-tiny-base
inclusionAI/Ling-3.0-tiny-base
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
inclusionAI 在 Hugging Face 开源 Ling-3.0 系列,并放出预训练、中间训练与 WSM 合并三个阶段的 checkpoint,其中 Ling-3.0-tiny-base 总参数 7.9B、每 token 激活 1.3B,采用 MoE 与 KDA 结合 Gated MLA 的混合线性注意力架构。
来源:inclusionAI Hugging Face models · huggingface.co