文章解释预训练只教模型猜下一个词，需要后训练把基座模型变成有用助手，并以 InstructGPT 对比 GPT-3 的登月回答为例说明差距。后训练复用同一模型，用规模小得多的数据改变目标和信号，三种技术分别向示范学（指令微调/SFT）、向比较学（RLHF 或 DPO，含 KL 惩罚约束）、向检查器学（RLVR，适合数学和编程等长链条问题）。