inclusionAI 发布 Ling-2.6-flash-base 基础模型
inclusionAI/Ling-2.6-flash-base
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
inclusionAI 开源 Ling-2.6-flash-base 基础检查点,这是 Ling-2.6-flash 背后的基座模型,采用 Lightning Attention 与 MLA 按 7:1 混合的线性注意力架构,总参数约 104B、激活约 7.4B,训练 token 约 9.6T,上下文从 4K 分阶段扩展至 256K。
来源:inclusionAI Hugging Face models · huggingface.co