跳到正文

Meta / Llama

Meta 的 AI 动态:Llama 开源模型系列、超级智能实验室与元宇宙之外的 AI 豪赌。

当前仅显示精选新闻
61条精选相关主题xAI / Grok开源生态行业动态

最新精选

第 61–61 条 · 共 61 条
9月29日周一
  1. Thinking Machines Lab Blog66

    Thinking Machines Lab 发表 LoRA Without Regret:LoRA 在多数后训练场景可追平全量微调

    Thinking Machines Lab 发布 John Schulman 署名的研究,发现在满足两个条件时 LoRA 的样本效率与最终性能与全量微调相当:一是应用于全部权重层尤其是 MLP/MoE 层,二是不受容量限制即数据集规模不超过 LoRA 参数容量。

    推荐理由:原文系统实验给出 LoRA 追平全量微调的两个条件和最优学习率为其 10 倍等可操作结论,可直接指导微调选型。