最新精选
第 161–166 条 · 共 166 条Thinking Machines Lab 发布 John Schulman 署名的研究,发现在满足两个条件时 LoRA 的样本效率与最终性能与全量微调相当:一是应用于全部权重层尤其是 MLP/MoE 层,二是不受容量限制即数据集规模不超过 LoRA 参数容量。
推荐理由:原文系统实验给出 LoRA 追平全量微调的两个条件和最优学习率为其 10 倍等可操作结论,可直接指导微调选型。
Thinking Machines Lab 发文指出,LLM 推理不确定性的主因不是并发与浮点加法,而是服务器负载变化导致批大小改变,使缺乏批不变性的内核产生不同数值结果。
推荐理由:原文指出 LLM 推理不确定性的真正来源是批大小变化破坏了批不变性,并给出可实现确定性推理的内核方案与代码。
Microsoft AI 发布 MAI-DxO 诊断编排器与 SD Bench 基准,将 304 个 NEJM 病例转化为逐步诊断挑战,MAI-DxO 正确诊断最高达 85%,是同一组有经验医生的四倍以上,且以更低检查成本得出正确诊断。
推荐理由:原文同时给出诊断准确率、成本对比和研究局限,并说明 SD Bench 尚未公开,读者可据此理解结果边界。
Arvind Narayanan 发布超过 1.5 万字的新论文,提出将 AI 视为“常态技术”的世界观,认为其影响类似电力和互联网等通用技术,变革性经济与社会影响将以数十年为时间尺度缓慢展开。
推荐理由:作者提出 AI 是像电力一样的常态技术,经济影响将以数十年计缓慢扩散,并给出风险与政策的替代框架。
PromptArmor 披露 Slack AI 存在间接提示词注入漏洞,攻击者在公开频道发布恶意指令,即可诱使 Slack AI 将用户私有频道中的 API 密钥等敏感数据嵌入钓鱼链接并渲染给用户,且引用不显示攻击者消息导致难以追踪。
推荐理由:原文给出了完整的攻击链和可操作的缓解设置,读者可以据此评估自己工作区里 Slack AI 的暴露面。
OpenAI 用自研强化学习算法 PPO 训练 5 个智能体组成的团队打 Dota,击败了半职业选手。智能体对两周前的旧版本胜率达 90-95%,训练不使用人类对局数据,仅靠自我对弈和人工设计的奖励函数学会游戏。作者认为这说明深度强化学习在算力足够且模拟环境贴合问题时能解决极难问题,有望推广到更像真实世界的场景。
推荐理由:作者作为当事方说明了不依赖人类对局、靠自我对弈训练的路线,读者可以借此理解强化学习对算力和模拟环境的依赖。