SGD 优化中的渗流动力学：方差级联与离散尺度不变性
Percolation Dynamics in Optimization : Variance Cascades and Discrete Scale Invariance
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
研究将随机梯度流（SGF）建模为渗流过程，发现嵌套架构对称性迫使子网络以离散块形式合并，而非单边连接，这种结构转变在宏观序参量上表现为方差尖峰。作者进一步给出 Adam 和 AdamW 在重尾梯度噪声下捕获论证成立的充分条件，并在训练好的 Transformer 上进行了测量。
来源：Hugging Face Daily Papers · arxiv.org