从梯度到能力：理解多教师同策略蒸馏

研究以 Qwen3-1.7B 和四个同源 RL 教师为对象，分析多教师同策略蒸馏（MOPD）中教师信号如何影响参数变化。发现 loss 平均会隐式加权响应，Adam 一阶矩使教师间参数更新余弦相似度升至 0.83，BF16 舍入掩盖了约 97% FP32 主权重与初始化的差异，仅 7–11% BF16 权重体现变化。