复旦OpenMOSS团队发布混合架构长文力学研究

2026年11月1日，机器之心报道，复旦创智OpenMOSS团队（邱锡鹏团队）发表《混合架构的长文力学》研究。该研究在376M至3B四种规模上，比较RoPE/NoPE全注意力与滑窗注意力（SWA）、GLA/GDN门控线性注意力的混合架构，围绕“混合架构该用线性注意力还是滑窗注意力”这一问题展开，提出“混合位置”视角，结论指向两者兼用。目前报道仅呈现研究框架与比较对象，未披露具体实验数据与结论细节。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。