Pivot-SD：面向掩码扩散语言模型的高效自蒸馏框架

Pivot-SD 是一个面向掩码扩散语言模型（dLM）的离线自蒸馏框架，仅监督去噪过程中影响最大的高影响承诺（pivots），用信息增益指标筛选这些 pivots。它仅用 200 个问题和每个 4 次 rollout，就在数学与代码基准上让 LLaDA-8B-Instruct 超过全序列 SFT 和同等预算的扩散 RL 基线。该工作入选 EMNLP 2026 主会 Oral。