Thinking Machines Lab 发布 LoRA Without Regret 研究：LoRA 在多数后训练场景可追平全量微调
Thinking Machines Lab 发文系统比较 LoRA 与全量微调（FullFT），发现当 LoRA 应用于包括 MLP/MoE 在内的所有层且训练参数超过数据信息量时，学习效率与最终性能与 FullFT 相同。
推荐理由：原文用系统实验给出 LoRA 追平全量微调的具体条件，包括应用于全部层、学习率约 10 倍和容量约束，可直接指导微调实践。
训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
当前仅显示精选新闻Thinking Machines Lab 发文系统比较 LoRA 与全量微调（FullFT），发现当 LoRA 应用于包括 MLP/MoE 在内的所有层且训练参数超过数据信息量时，学习效率与最终性能与 FullFT 相同。
推荐理由：原文用系统实验给出 LoRA 追平全量微调的具体条件，包括应用于全部层、学习率约 10 倍和容量约束，可直接指导微调实践。