NoRA：归一化低秩适配改进 LoRA 训练稳定性

研究者提出 Normalized Low-Rank Adaptation（NoRA），通过在训练中归一化 down-projection 矩阵来稳定 LoRA 的优化动态，也可仅在初始化时归一化。在预训练、监督微调和强化学习中，NoRA 均能加速收敛、提升性能与训练稳定性，并缓解灾难性遗忘，且不增加可训练参数或推理开销。