AI 导读
指令微调（SFT）沿用预训练训练目标：在每个位置预测下一个 token，用 cross-entropy loss 衡量预测与正确 token 的差距，训练提高正确 token 概率。数据经模型 chat template 转成对话格式 token 序列，再用 loss mask 标出需计算损失的 token，这是 recipe 中的重要部分。
正文
Instruction Tuning 或者 SFT 沿用预训练的训练目标：
在每个位置预测下一个 token，用 cross-entropy loss 衡量预测和正确 token 之间的差距，通过训练提高正确 token 的概率。
其中，用模型的 chat template 把每对数据转换成对话格式的 token 序列，然后用 loss mask（ 标出需要计算损失的 token，是 recipe 中重要的部分。
来看后训练系列第二篇，Instruction Tuning
https://x.com/i/article/2113363792482480128在 X 查看被引用的帖子
来源：Dongxi 东锡 NLP · x.com