统一基础模型训练算法框架研究
先了解这件事
2026年10月29日，Hugging Face Daily Papers 报道了一项研究，提出名为“统一训练”（unified training）的算法框架，主张用单一基于似然的训练算法覆盖基础模型训练全流程。该框架将预训练、midtraining、SFT 与 RL 各阶段统一为同一个算法，把训练生命周期转化为对数据选择、数据配比与训练时机的决策问题，传统分阶段训练则成为该框架的特例。实现上，该框架在单一训练器中混合静态数据与 RL 生成数据。报道称，在受控实验与真实实验中，该框架改善了精度-算力权衡与任务覆盖，同时保持更广泛的能力，并为持续学习提供更好的起点。2026年10月31日，X 用户 Rohan Paul 发布关于卡内基梅隆新论文的消息，称预训练、微调与 RL 可共享同一训练规则，混合各阶段数据常优于分阶段训练；作者将 MaxRL 重构为对模型自身正确答案的似然训练，使单一训练器可按任意比例混合预训练文本、精选数据与 RL 样本。该消息称，124M 模型在推理谜题上最佳混合运行超过最佳分阶段运行且保留通用技能更好；0.76B 模型在数学 RL 中混入 5% midtraining 数据后，MBPP+ 达 32.69%，分阶段训练为 29.81%。目前尚无独立复现或产品化进展的报道。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Rohan Paul (@rohanpaul_ai) · X卡内基梅隆：预训练、微调与RL可合并为单一训练规则
卡内基梅隆新论文提出预训练、微调与RL可共享同一训练规则，混合各阶段数据常优于分阶段训练。作者将MaxRL重构为对模型自身正确答案的似然训练，使单一训练器可按任意比例混合预训练文本、精选数据与RL样本。124M模型在推理谜题上最佳混合运行超过最佳分阶段运行且保留通用技能更好；0.76B模型在数学RL中混入5% midtraining数据后，MBPP+达32.69%，分阶段训练为29.81%。
- Hugging Face Daily Papers用单一算法训练基础模型
研究提出“统一训练”（unified training），将预训练、midtraining、SFT 和 RL 各阶段统一为同一个基于似然的训练算法，把训练生命周期转化为选择数据、配比与时机的数据选择问题，传统分阶段训练成为其特例。该框架在单一训练器中混合静态数据与 RL 生成，在受控与真实实验中改善了精度-算力权衡和任务覆盖，同时保持更广泛能力，并为持续学习提供更好的起点。
本事件热度走势
当前热度 9·可比范围峰值 13（10月31日 06:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。