Latent-MOPD：面向 LLM 的潜在多教师同策略蒸馏

Latent-MOPD 是首个面向 LLM 的表征级多教师同策略蒸馏（OPD）方法，无需额外教师训练即可同时利用专家的预测分布与隐藏状态进行监督。在同族教师设置下，它在数学、代码、逻辑共 9 个基准上全面超越仅 token、仅表征和均匀平均基线，且参数量与单个教师相同时多数基准超过最佳教师；跨族教师下也在全部基准上优于单通道基线。