AI 导读
ExaAILabs 实验发现,在强化学习阶段训练 LLM 搜索能力时,使用 Exa 搜索 API 的模型比喂 Google 数据的一组性能更高,训练算力还省下 70%。这表明搜索工具本身的质量与效率,对带搜索能力大模型的训练效果影响可能远大于算力堆叠,对 AI Agent、RAG 及搜索型 LLM 训练团队是重要信号。
正文
ExaAILabs刚测完一个关键实验。
他们在强化学习阶段训练LLM搜索能力,一组喂Google数据,一组用他们的Exa搜索API。
结果用Exa的那组,模型性能更高,训练算力却省下了70%。
整整70%。
这个发现有点出乎意料
很多人还坚信想让AI搜索做得更好就只能靠堆更多算力。
但真实情况可能是搜索工具本身的质量和效率决定性远大于算力数量。
这对所有搞AI Agent、做RAG、训练带搜索能力大模型的团队来说是个重大信号。
我看完blog后感觉未来LLM训练的效率战可能要从选对工具开始打起。
如果你在做相关方向强烈建议去读他们的完整blog。
How does Exa compare to Google for training LLMs to search? In this blog post, we find that LLMs using Exa during reinforcement learning reach higher performance with 70% less training compute. exa.ai/blog/rl-search-outcom… Video在 X 查看被引用的帖子
来源:@berryxia · x.com