Thinking Machines Lab 解析 LLM 推理不确定性根源并发布批不变内核
Defeating Nondeterminism in LLM Inference
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
Thinking Machines Lab 发文指出，LLM 推理不确定性的主因不是并发与浮点加法，而是服务器负载变化导致批大小改变，使缺乏批不变性的内核产生不同数值结果。
推荐理由
原文指出 LLM 推理不确定性的真正来源是批大小变化破坏了批不变性，并给出可实现确定性推理的内核方案与代码。
来源：Thinking Machines Lab Blog · thinkingmachines.ai