大模型如何教小模型变聪明：知识蒸馏解析

知识蒸馏通过让小型学生模型学习大型教师模型的软标签（如 cat 0.70、dog 0.25、fox 0.05 的概率分布）来训练新模型，而非压缩已有模型。Google 的 Gemma 系列即在训练中借助 Gemini 家族的大模型完成蒸馏，学生模型可部署于手机或单一服务，响应更快、单次请求成本更低。