循环模型为什么越想越错？Ouro 与 Parcae 研究揭示隐空间循环的稳定性难题
「有些模型就是不想学？」循环模型为什么越想越错？
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
循环模型在隐空间中反复运行同一组网络层，但测试时增加循环次数未必提升表现：1.4B 参数的 Ouro-Thinking 在 AIME 2024 上从第四轮 65 分掉到第八轮 38.67 分。2026 年的 Parcae 研究发现循环语言模型易出现残差爆炸和损失突升，重新设计稳定机制后验证集困惑度最多降低 6.3%，13 亿参数下超过传统 Transformer 基线。
来源：机器之心 · 微信公众号 · mp.weixin.qq.com