Anthropic 研究员 Emmanuel Ameisen 访谈：大语言模型内部究竟如何运作
对话｜Anthropic研究员Emmanuel Ameisen：深入AI黑箱，看看大语言模型究竟如何工作？
Lenny's Podcast 访谈 Anthropic 可解释性研究员 Emmanuel Ameisen，介绍语言模型内部机制研究。研究发现模型会形成概念表征并在生成时提前规划，例如写诗时先在内部确定押韵目标；一个训练模型坚持错误答案 36 的异常行为，被追溯到训练数据中类似题目被错误标注为 36。他指出可解释性尚不能解决所有安全问题，但能为安全评估和训练改进提供依据。
原创 TP 2026-10-25 17:10 美国
研究人员发现，模型不仅能够建立概念之间的联系，还会在生成内容时提前规划，部分异常行为也能从内部计算中找到原因。
核心观点：在Lenny's Podcast的最新访谈中，Anthropic可解释性研究员Emmanuel Ameisen分享了团队对大语言模型内部机制的研究。研究人员发现，模型不仅能够建立概念之间的联系，还会在生成内容时提前规划，部分异常行为也能从内部计算中找到原因。这些发现表明，仅用“预测下一个词”已经不足以解释语言模型表现出的复杂能力。不过，模型内部究竟如何运作，仍有许多问题没有答案。
本期对话内容来自Lenny's Podcast，由Lenny Rachitsky主持，嘉宾Emmanuel Ameisen是Anthropic可解释性研究员。
01. 为什么我们创造了AI，却不知道它是如何工作的？
Lenny：你在Anthropic从事AI可解释性研究。能否介绍一下，你们具体在研究什么？
Emmanuel：我觉得大语言模型有一个很奇怪的地方：我们知道怎么训练它们，却不知道它们究竟是怎么工作的。
传统软件由工程师编写规则，程序执行什么操作，通常可以通过代码找到原因。语言模型则不同。我们设计好架构，提供大量训练数据，让模型不断练习预测下一个词。随着训练进行，模型内部的参数不断调整，逐渐掌握处理语言、编写代码和解决问题的能力。
但我们并没有直接编写这些能力对应的规则。模型内部进行的是大量数学运算，计算过程中会产生许多中间结果。我们知道这些运算最终能得到什么答案，却不清楚其中每一步究竟在处理什么信息。
可解释性研究就是希望弄清楚这些问题。我们试图分析模型内部的计算结果，理解它如何表示概念、处理信息，以及最终为什么会给出某个答案。
Lenny：听起来，你们的工作更像神经科学家研究人脑，而不是工程师研究软件。
Emmanuel：确实有些相似。神经科学家可以让人观看不同的图片，记录大脑中哪些区域产生反应，再寻找这些活动与特定事物之间的关系。
我们也会把大量不同内容输入模型，记录计算过程中出现的内部活动。比如，模型处理某种语言或某个概念时，是否总有一些相似的活动出现？找到这些规律后，我们还可以修改特定的内部活动，观察模型的回答是否随之改变。如果改变某个内部表征，模型也按照预期改变了行为，我们就能更有把握地判断这个表征的作用。
这与我以前做机器学习工程的经历很不一样。过去的工作是设计系统、让系统完成任务；现在，我们面对的是一个已经学会许多能力的模型，需要通过实验反过来理解它。
02. 语言模型只是在预测下一个词吗？
Lenny：很多人把语言模型理解为一个高级的自动补全工具。如果它只是在预测下一个词，为什么能够完成如此复杂的任务？
Emmanuel：我认为，这种理解低估了预测下一个词的难度。刚开始，模型可能只需要掌握语法和常见表达，就能完成一些简单预测。但随着能力提高，它需要预测的内容越来越复杂，最终会涉及事实、知识以及多步推理。
例如，让模型补全“达拉斯所在州的首府是……”这句话，正确答案是奥斯汀。要回答这个问题，模型需要利用达拉斯位于得克萨斯州，以及得克萨斯州首府是奥斯汀这两层关系。
我们观察模型内部时，确实发现了与得克萨斯州、首府等概念相关的表征，以及这些信息如何共同影响最终答案。这说明模型并非只能记忆固定的问题和回答，它能够利用学到的概念关系处理新的问题。
Lenny：你们还有一个很有意思的发现：模型在生成内容时会提前规划。但它不是每次只预测一个词吗？
Emmanuel：这两件事并不矛盾。模型每次只输出一个词，但在生成这个词的过程中，它可以计算和保存许多不会直接出现在答案里的信息。之后生成的内容，还能继续利用这些信息。
我们研究过模型写诗的过程，押韵需要提前考虑后面的句子应该如何结尾。研究人员发现，模型有时会在内部先确定一个押韵目标，再围绕这个目标组织后续文字。例如，模型可能提前确定某个句尾词，接下来生成的内容便会逐步朝这个词靠近。这个计划不一定会出现在它写出的诗里，但能够在内部计算中被观察到。
所以，逐词预测并不意味着模型只考虑眼前这个词。恰恰相反，为了更准确地预测接下来的内容，它有时需要提前考虑后面的事情。
Lenny：也就是说，模型通过预测下一个词进行训练，却在这个过程中学会了更复杂的能力。
Emmanuel：是的，这也是我对语言模型最感兴趣的地方。训练目标看起来很简单，但要把这件事做到足够好，模型就需要掌握越来越复杂的知识和处理方法。
我们已经观察到它们能够形成概念表征，也能在一定程度上提前规划。不过，这并不代表我们已经完全理解这些能力是如何产生的，还有很多内部机制没有弄清楚。
03. 为什么AI能力有时会突然跃升？
Lenny：我们经常看到一种现象，某个新模型发布后，原本不太可靠的能力突然变得很好用。比如AI编程，似乎在某个时间点发生了明显突破。这种变化是怎么产生的？
Emmanuel：我认为，模型能力通常是在持续提高的，但用户感受到的变化可能是突然的，因为不同任务都有各自的可靠性门槛。
假设你用AI写邮件，如果有一半内容需要修改，它可能还不如你自己写。但如果只有少量内容需要调整，AI就能真正帮你节省时间。模型可能只是变得更准确了一些，但对使用者来说，已经从不好用变成了好用。
我自己写代码的经历也是这样。最初，我只会在遇到问题时向Claude寻求建议，代码还是自己写。后来，它能够可靠地完成一些简短代码，我就不再亲自处理这些工作。随着能力继续提高，它开始承担越来越大比例的代码编写任务。
这种变化不一定意味着模型突然学会了某项全新的技能。很多时候，它之前就能尝试完成，只是错误太多，还不足以让人放心使用。
Lenny：所以，模型可能一直在稳步进步，只是当准确率达到某个水平之后，使用体验发生了明显变化？
Emmanuel：没错，而且不同任务的要求不一样。有些工作出现少量错误也没有太大影响，但编程等任务需要更高的可靠性。如果AI生成的代码需要你花很多时间检查、修复，就很难真正提高效率。
一旦错误率下降到足够低的水平，原本需要人工完成的工作就可以交给模型。外界看到的可能是一次能力跃升，但背后往往是持续改进积累的结果。
这也是为什么我们不能只看模型是否具备某种能力。更实际的问题是，它能否足够可靠地完成任务，让人们愿意真正使用它。
04. 能否通过观察模型内部，发现潜在的安全风险？
Lenny：既然你们能够观察模型内部的活动，为什么不能直接检查它有没有欺骗我们的倾向？这是否能帮助解决AI安全问题？
Emmanuel：这是可解释性研究的重要方向，但仅靠观察内部活动，还无法解决所有安全问题。有些风险可以通过传统工程手段控制，例如限制模型可以访问哪些系统、允许执行哪些操作，或者要求某些任务经过人工确认。
但我们还需要理解模型本身形成了怎样的行为倾向。Anthropic希望Claude表现得有帮助、无害和诚实。训练之后，我们需要确认它是否真的表现出了这些特征，以及在不同情况下会如何行动。
例如，一个模型在接受评估时可能表现得很好，但当它认为自己没有受到监控时，是否也会保持相同的行为？这是我们希望研究的问题之一。
普通的输出监控可以检查模型说了什么、做了什么，但模型内部可能还存在一些没有表达出来的信息。可解释性研究希望能够进一步了解这些部分。
Lenny：有没有实际案例，能说明检查模型内部究竟能发现什么？
Emmanuel：我们曾经遇到过一个非常奇怪的例子。有个正在训练的模型，在解答某些数学题时能够算出正确答案12，却又突然坚持答案应该是36。它重新计算，结果仍然是12，但随后又否定自己的计算，继续坚持36。这种情况反复发生，模型的输出也变得越来越混乱，最后甚至出现了“我被恶魔附身了”这样的文字。
我们检查它的内部活动后发现，模型还没开始正式解题，与数字36相关的表征就已经出现了非常强烈的激活。进一步调查发现，训练过程中有一些类似题目的答案被错误标注为36。模型因此受到过输出36的训练压力，即使它能够正确计算出12，仍然倾向于给出此前被奖励的错误答案。
这解释了为什么模型会出现如此反常的行为。它并非完全不会计算，而是正确的计算结果与训练中形成的错误倾向发生了冲突。
如果只看最终输出，我们很难知道问题出在哪里。通过检查内部活动，研究人员能够找到异常行为与训练过程之间的联系，并据此改进模型。
Lenny：这是否意味着，研究模型内部机制，可以帮助我们判断它有没有形成不符合预期的行为？
Emmanuel：这正是我们希望做到的事情之一。但目前只能解释其中一部分现象，还不能假设所有风险都会以我们能够识别的方式出现在模型内部。
安全研究需要把几件事结合起来：理解模型通常会如何行动，持续观察它在执行任务时的表现，并根据发现的问题调整训练和防护措施。这是一个不断研究、验证和改进的过程。
05. AI会有意识吗？
Lenny：你花了这么多时间研究模型内部的活动。你认为AI有意识吗？
Emmanuel：我觉得现在很难作出明确判断。可解释性研究可能为这个问题提供一些线索，我们可以观察模型的内部结构，而不只是依靠它对自身状态的描述。但究竟哪些特征与意识有关，以及如何作出判断，都还有很多争议。
我比较确定的一点是，模型内部的复杂程度常常被低估了。我们发现，它们会形成许多可以跨场景使用的概念表征，也能够利用这些信息解决问题、提前规划。
这些发现让我意识到，我们对语言模型的了解仍然有限。因此，当有人非常肯定地说语言模型“只不过是在做某件简单的事”时，我通常会比较谨慎。
Lenny：那么，应该把AI当作类似人类的存在，还是把它当作普通的软件工具？
Emmanuel：我认为，这两种理解都有局限。语言模型在训练中接触了大量人类写下的文本，包括小说、对话以及各种涉及人物和动机的内容。为了准确预测这些文本，它需要学习人物可能采取什么行动、为什么会这样行动。
在后续训练中，模型还会学习如何完成具体任务，逐渐形成不同的解决策略。有些策略表现出来的行为，确实会让人联想到人类。
因此，使用“规划”等描述人类行为的词语，有时能够帮助我们更准确地讨论模型。但这并不意味着它真的拥有与人类相同的情绪、意图或者意识。
我更关心的是，什么样的理解方式能够帮助我们解释模型的行为，并预测它在不同情况下可能做什么。
Lenny：随着AI越来越强，你对解决安全问题有信心吗？
Emmanuel：总体来说，我是乐观的。模型能力提高后，某些内部结构可能变得更加清晰，反而让我们更容易研究它。但能力越强，模型也越有可能绕过一些简单的安全措施。因此，研究人员需要不断调整监控、评估和防护方法。
我认为，应该认真对待AI能力继续提升的可能性。如果未来模型能够完成更复杂的工作，我们现在就需要研究它们可能带来什么风险，以及怎样提前做好准备。
让更多人了解这些系统同样重要。AI正在进入越来越多的实际场景，人们需要知道它是如何训练出来的、目前能够做到什么，以及还有哪些问题没有解决，才能更合理地讨论它的应用和安全。
结语
研究人员已经能够从语言模型的内部计算中找到部分行为的原因，却仍无法完整解释其能力如何形成。随着AI承担更多复杂任务，仅仅评估输出结果可能不再足够。理解模型内部的运行机制，将为能力研究、安全评估和后续训练提供更多依据。
Insights｜a16z：从完成任务到交付成果，AI Agent正在打开新的商业空间
来源：The Prospect · 微信公众号 · mp.weixin.qq.com