跳到正文

千问 Qwen

阿里千问 Qwen 系列的开源发布与迭代:从旗舰模型到端侧小模型的全谱系动态。

当前仅显示精选新闻

最新精选

第 81–83 条 · 共 83 条
1月22日周四
11月13日周四
9月29日周一
  1. Thinking Machines Lab Blog66

    Thinking Machines Lab 发表 LoRA Without Regret:LoRA 在多数后训练场景可追平全量微调

    Thinking Machines Lab 发布 John Schulman 署名的研究,发现在满足两个条件时 LoRA 的样本效率与最终性能与全量微调相当:一是应用于全部权重层尤其是 MLP/MoE 层,二是不受容量限制即数据集规模不超过 LoRA 参数容量。

    推荐理由:原文系统实验给出 LoRA 追平全量微调的两个条件和最优学习率为其 10 倍等可操作结论,可直接指导微调选型。