Dion3:全栈正交更新优化器,将 Muon 步时最高降低 6 倍
Dion3: Full-Stack Orthogonal Updates
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Dion3 是 Muon 优化器的改进版本,通过 Gram Newton-Schulz 算法、CuteDSL 内核和 megabatching 策略,在保持或改善 Muon 损失表现的同时将优化器步时最高降低 6 倍。该版本还修改了更新规则,每步仅对动量矩阵的部分行做正交化,速度和性能均优于此前的压缩版 Dion。Dion3 已通过 dion 包发布,可作为 Muon 的直接替代品使用。
来源:Hugging Face Daily Papers · arxiv.org