循环与深度增长模型对上下文学习的影响

2026年10月26日，Elvis Saravia 在 X 上介绍了一项研究，探讨循环层与深度增长语言模型对上下文学习的影响。该研究显示，在 3B 参数规模下，深度增长和循环模型比同深度稠密模型更能从靠后的上下文中获益；在 GSM8K 各演示数量下得分更高，对未见形式语言的预测也更准确。目前该事件仅有这一条报道，尚无后续进展或不同说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。