循环模型如何做对（第二部分）：在不动点处重新思考

循环语言模型的每次循环都会增加训练、解码、prefill 和 RL 成本，而循环状态越接近不动点，到达它的路径就越不重要。研究改进了塑造不动点的两个训练组件——深度先验与输入注入：从预测反馈中学习先验并用熵项保持其宽度，用正交注入移除状态沿输入方向的分量。