权重归一化训练中的有效学习率调度：AIR 调度优于余弦调度
Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-Normalized Training
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
研究指出权重归一化（WN）训练的预训练损失收益主要来自诱导的有效学习率（ELR）轨迹而非归一化本身，调度设计应针对 ELR 而非名义学习率。据此提出 AIR（Affine Inverse-square-Root decay）调度，将理论推导的 1/√t 衰减与仿射调整结合以满足峰值和终端学习率。
来源：Hugging Face Daily Papers · arxiv.org