混合架构中的竞争学习现象：递归层抢先学会检索，抑制注意力学习

研究揭示混合架构中存在“竞争学习”现象：不同 mixer 争夺学习同一功能，任一层学会后便抑制其他层的对应学习信号。层归因分析显示，现代递归层在典型数据分布下比 softmax attention 更快学会检索函数，导致注意力在多数情况下学不会检索。基于此提出的分阶段预训练流程在最高 1B 参数模型上显著改善了语言建模损失、常识推理及多种上下文长度下的检索任务。