LLM 中的缩放向量研究：微小参数如何显著影响预训练

针对大语言模型中归一化层的可学习缩放向量，研究从表达力、优化和架构结构三方面展开系统分析，发现其虽仅占极小参数比例，移除后却会显著损害 LLM 预训练。理论表明在 Pre-Norm 架构中缩放向量并不提升表达力，而是通过对后续线性映射的自增强预条件效应改善优化，且权重衰减对 Input-Norm 层有益、对 Output-Norm 层有害。