AIR 学习率调度方法优化权重归一化训练

2026年10月29日，Hugging Face Daily Papers 报道了一项关于权重归一化（WN）训练中学习率调度的研究。研究指出，权重归一化训练带来的预训练损失收益，主要来自其诱导的有效学习率（ELR）轨迹，而非归一化本身，因此调度设计应针对 ELR 而非名义学习率。据此，研究提出 AIR（Affine Inverse-square-Root decay）调度，将理论推导的 1/√t 衰减与仿射调整相结合，以满足峰值和终端学习率。报道称 AIR 调度优于余弦调度。目前该工作处于论文发布阶段，尚无后续复现或应用进展的报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。