研究揭示推理模型中的“wait”标记源自训练数据而非强化学习

研究追踪开放模型训练历史后发现，零强化学习几乎不会让模型自发产生“wait”标记：在缺乏该词的基座模型上，RL 能显著提升 MATH-500 准确率，但“wait”仍近乎缺席。该标记随训练数据而来，OLMo-3 的中期训练与推理轨迹微调可将其植入多数基座模型。研究还指出标记频率本身不能指示 RL 诱导的推理，并警告 LLM-as-a-judge 评审指标可能反转人工标注的趋势。