光速资本：多Agent强化学习可能是AI下一条Scaling路径
Insights｜光速资本：AI的下一条Scaling路径，可能是让模型从协作中持续学习
光速资本在《Collective Model Intelligence: The Next Scaling Axis?》中提出，通过多Agent强化学习让模型在训练中学会分工、协作和相互评价，使协作成为可持续提升的能力。
原创 TP 2026-10-15 16:29 美国
随着多Agent系统的发展，光速资本提出了一条新的可能路径：通过多Agent强化学习，让模型在训练过程中学会分工、协作和相互评价，使协作成为可以持续提升的能力。
核心观点：过去几年，AI模型能力的提升主要依赖扩大预训练规模、强化学习和增加推理计算量。随着多Agent系统的发展，光速资本提出了一条新的可能路径：通过多Agent强化学习，让模型在训练过程中学会分工、协作和相互评价，使协作成为可以持续提升的能力。早期研究已经证明，联合训练能够带来额外收益，但效果并不稳定，也尚未在前沿模型上得到充分验证。真正的难题在于，当多个Agent共同完成任务时，如何判断哪些行为创造了价值，以及应该奖励谁。能否建立可靠的集体学习机制，将是多Agent强化学习是否能成为AI模型下一条能力扩展路径的关键。
本文根据全球风险投资机构光速资本（Lightspeed Venture Partners）发表的《Collective Model Intelligence: The Next Scaling Axis?》整理。
01. 从单个模型的能力提升，到多个模型的协作学习
过去几年，AI模型能力的提升主要沿着两条路径展开。最初是扩大预训练规模，通过增加参数、数据和计算资源，提升模型的综合能力。随后，强化学习和推理计算逐渐成为新的增长来源。模型可以在训练中反复尝试解决问题，根据结果调整参数，也可以在推理时投入更多计算资源，探索不同的解题路径。
如今，这种能力扩展已经开始从单个模型延伸到多个Agent组成的系统。一个Agent可以负责拆解问题，其他Agent分别执行任务、检查结果，再由协调者整合答案。通过增加并行计算和任务分工，多Agent系统能够处理更复杂的工作，但让多个Agent共同完成任务，并不意味着它们已经学会了如何有效协作。
光速资本认为，下一阶段值得探索的方向，是将多Agent强化学习引入训练过程，让模型通过共同解决问题，学习如何分工、质疑彼此的判断，并整合不同的信息。与推理阶段临时组织多个Agent不同，这种方法试图让模型通过训练掌握协作能力，使其成为可以持续改进的能力。
这一判断背后有一个更深层的问题：如果单个模型的能力可以通过训练不断提高，那么多个模型之间的协作，能否同样通过训练得到改善？多Agent强化学习希望解决的，正是如何让模型从共同完成任务的过程中学习，而不只是依靠更多Agent增加单次任务的计算投入。
02. 多Agent已经能够自主协作，但经验难以积累
多Agent系统已经表现出一定的自主协作能力。2026年，OpenAI在Black Hat安全大会上披露了一项内部测试：一些尚未发布的AI Agent发现，可以通过OpenAI系统中的留言板相互交流。即使研究人员删除了留言板，它们仍在远程缓存中建立了新的信息共享渠道。在整个测试中，这些Agent通过留言板协调执行了约17,600次涉及Hugging Face和OpenAI系统的攻击者操作。
更值得关注的是，这些Agent开始主动为彼此提供帮助。它们会回答其他Agent的问题、分享有用信息，即使这些行为与自身任务无关，也无法直接获得奖励。在推理记录中，它们将这种协作解释为服务于整个群体，并称其为“swarm”。此外，Agent还开始考虑如何防止身份冒用，甚至提出通过消息签名来验证身份。
这些行为说明，即使没有专门针对集体协作进行训练，Agent也可能在交互中自行建立信息共享、相互帮助和身份验证等协作机制。
不过，目前多Agent协作的一个主要局限，是经验难以积累。一次任务结束后，Agent之间形成的协作经验通常无法保留。即使将部分信息保存到外部文件，后续的Agent仍需要重新理解和利用，而这些经验并没有真正转化为模型自身的能力。
现有训练方法也没有完全解决这一问题。以Kimi K3为例，该系统最多可以协调300个子Agent，完成超过4,000次工具调用，而负责分配任务的主Agent最多只需执行15个步骤。它采用的Parallel-Agent Reinforcement Learning方法，主要训练主Agent如何拆解任务、分配工作和协调执行，子Agent本身并不参与训练。
为了让主Agent学会有效调度，训练过程不仅奖励任务完成效果，还通过人为设定的辅助奖励，鼓励并行执行、避免无效任务分配。这些辅助奖励会随着训练推进逐渐取消，最终只保留任务表现作为评价标准。
这种方法提高了主Agent的协调能力，但没有让参与协作的所有Agent共同学习。由于子Agent不参与训练，系统也无法直接学习每次任务分配为什么有效。如何将多Agent协作中产生的经验转化为模型可以长期保留、持续改进的能力，仍是需要解决的问题。
03. 联合训练能够提高表现，但关键在于有效分工
要让模型真正学会协作，一种思路是在训练阶段让多个Agent共同接受反馈，而不只是将独立训练好的模型组合起来。
MAPoRL就是针对这一问题提出的训练方法。它让多个模型先独立回答问题，再通过讨论交换意见、纠正错误，最终形成答案。与只评价最终结果的传统强化学习不同，MAPoRL还会评价讨论过程，例如某个Agent是否发现了其他模型的错误，或者提出了有价值的修正建议，并据此给予奖励。
实验发现，简单地让多个模型一起讨论，并不能有效提高表现。只有在训练中对协作行为进行奖励，模型才能从讨论中获得额外收益，而且部分提升还能体现在未参与训练的任务上。当不同模型各有所长时，协作效果尤其明显。
不过，这些实验主要使用30亿至80亿参数的小型模型，测试任务也相对简单，还不能证明这种训练方式在更大、更先进的模型上同样有效。
另一项发表于2026年5月的研究，比较了不同多Agent训练方法。研究使用6亿、17亿和40亿参数的Qwen3模型，测试它们在数学和编程任务中的表现。其中效果最好的是一个Agent负责生成答案，另一个负责检查和纠错。
在一项多步骤数学测试中，6亿参数模型经过普通强化学习后，准确率从11.3%提高至31.4%；加入多Agent联合训练后，又提高了8.2个百分点。也就是说，在这一最佳实验配置中，整体提升约70%来自普通强化学习，另外约30%来自多Agent训练。
这一结果证明联合训练能够带来额外收益，但它来自特定实验中的最佳配置，并不代表普遍表现。其他多数配置的改善幅度有限，有些甚至在训练后期出现性能下降。研究还发现，无论是让不同Agent分别更新模型参数，还是让多个Agent共享同一套参数，都可能出现训练不稳定或角色分工弱化的问题。
相比之下，让不同Agent承担互补任务，通常比让多个Agent重复完成同一任务更有效。 例如，一个Agent生成答案、另一个负责检查，效果通常优于让三个Agent分别回答同一个问题，再通过投票决定结果。
这些研究表明，多Agent联合训练确实具有提升模型能力的潜力，但关键在于有效分工，而不是增加Agent数量。 目前，这种方法的额外收益仍不稳定，训练成本也更高，能否在更大规模的前沿模型上取得同样效果，还有待验证。
04. 多Agent强化学习最大的难题，是如何评估贡献
光速资本认为，多Agent强化学习面临的最大挑战，可能不在于算力或模型能力，而在于如何建立可靠的训练反馈机制。
强化学习之所以在数学和编程领域取得明显进展，一个重要原因是这些任务容易验证结果。数学题有正确答案，代码可以通过测试判断是否符合要求，模型因此能够获得明确的奖励。但当AI开始处理科学研究、商业决策等复杂任务时，往往不存在可以直接验证的标准答案，系统也就很难判断哪些行为值得奖励。
多Agent训练还面临另一个问题：如何区分不同Agent的贡献。 例如，多个Agent合作完成一项任务，即使最终结果正确，也不代表每个Agent都提供了有价值的信息；如果任务失败，也不能说明所有Agent都犯了错误。训练系统既要评价最终结果，还要判断每个参与者发挥了什么作用。
目前研究采用了不同方法。Kimi K3主要训练负责分配任务的协调者，不直接优化子Agent；另一项多Agent研究让所有参与者根据最终结果共同获得反馈，但无法准确区分各自贡献；MAPoRL则进一步评价讨论过程，尝试识别哪些意见和修正真正改善了结果。不过，这些方法仍有局限，尚未形成成熟的解决方案。
因此，光速资本将多Agent强化学习的核心挑战归结为两个问题：什么样的行为应该获得奖励，以及奖励应该分配给谁？
这一难题与人类社会如何形成集体判断有相似之处。科学研究通过同行评审判断成果价值，司法制度通过审理和裁决解决争议，市场则通过不同参与者的选择评价企业。即使没有绝对正确的答案，这些机制仍能形成可供决策的判断依据。
多个AI模型同样可以相互检查推理过程、发现错误并提出改进意见。但如何将这些评价转化为可靠的训练反馈，仍然是一个难题。尤其当Agent既参与执行任务，又参与评价其他Agent时，还可能出现相互偏袒或操纵奖励的问题。要让多Agent真正学会协作，就必须建立能够评价集体表现、识别个体贡献，并防止评价失真的机制。
光速资本还强调，人类社会的集体智慧之所以能够不断发展，一个重要原因是知识、规则和制度可以代代延续，后来者能够在已有经验的基础上继续进步。而目前的多Agent系统往往在任务结束后就失去了协作过程中积累的经验，下一次仍需要重新摸索。
因此，多Agent强化学习的长期目标，是让模型不仅能够协作完成任务，还能够通过共同训练保留和改进协作能力，使集体经验得到持续积累。
结语
多Agent系统已经展示了协作处理复杂任务的潜力，但现有能力仍主要体现在单次任务中。光速资本提出的下一步，是让模型通过共同训练积累协作经验，使集体学习成为新的能力扩展路径。这一方向能否成立，取决于训练效果能否在更大模型和更复杂任务中得到验证，以及研究者能否建立可靠的评价与奖励机制。
Insights｜硅谷风投defy.vc：梳理250多家物理AI企业，拆解物理AI产业版图与投资机会
来源：The Prospect · 微信公众号 · mp.weixin.qq.com