微信公众号(Mp2RSS 合集)· 赛博禅心·· 2026-06-15精选AI 评分76
MiniMax 开源 428B 参数 M3 模型权重,同步发布 MSA 技术论文
我们开源了 MiniMax M3
AI 导读
MiniMax 开源了 MiniMax M3 模型权重,并同步发布 MSA(MiniMax Sparse Attention)技术论文。M3 是 MiniMax 的原生多模态旗舰模型,总参数 428B,激活参数 23B,文中称其是第一个从 Step 0 开始做多模态混合训练的开源模型。
推荐理由
M3 从 Step 0 起做多模态混合训练并开源权重,同时公开 MSA 稀疏注意力论文,可了解其长上下文成本设计思路。
来源:微信公众号(Mp2RSS 合集) · mp.weixin.qq.com