北大张牧涵专访：从图神经网络到无涯智远，用超网络让模型边用边学

原创 Z Potentials 2026-11-04 10:00 北京

90后北大顶尖AI科学家创业，破解RSI终极卡点

文｜武静静

Highlights

我有时会给自己加码，主动增加一点挑战。在更困难的环境里做成一件事，对我更有吸引力。

所以我们要找的，不只是另一种微调技巧，而是一种更低成本、更实时，又能兼容新旧知识的参数更新方式，可以让模型持续学习。

我不想让模型每次升级，都要“回炉重造”。我想让它在工作中就能学习，原来学到的东西继续保留，新经历增量地进来。这不只是速度问题，也涉及成本，以及谁拥有更新模型的能力。

如果你只动Harness、动上下文，改变的是模型外部的脚手架，它仍然受这个基座能力上限的限制。如果参数能动，模型才可以继续往上走。这条路没有一个预先被固定参数锁住的上限，可以一直进化。

如果一个人不能形成新的长期记忆，我很难想象他是一个完整的整体。Agent如果不能积累这些经历，每次都是碎片化的记忆、单次推理，很难形成持续、一致的行为模式。

我们不是第一个用超网络生成模型参数的团队。但我们是第一个真正把它做出规模扩展、让它展现出这种泛化能力的团队。

如果参数更新的成本接近推理，训练模型的门槛就降下来了：只要部署得起自己的模型，未来就有机会训练自己的模型，把自己的数据变成专属于自己的模型能力。我们想让每个人、每家企业，都能低成本拥有一个自己的模型，并且在使用中持续进化。

01 从图神经网络开拓者到Facebook核心团队，他为何转身回北大

ZP：欢迎牧涵，先简单聊聊你的经历，你是怎么走上AI研究这条路的？

张牧涵：我高中读东北师大附中，通过物理竞赛保送上海交大，就读于电院的IEEE试点班，专业是电子工程和自动化。

本科时，我进入张娅老师的课题组接触机器学习和数据挖掘。她有一门课让我们做搜索引擎，自己写爬虫，抓取校内网站和新闻，再用关键词搜索。文字搜索做得还不错，后来加了一道题：能不能以图搜图？我们用SIFT算子做图片匹配，手工调了半天，效果也不好。结果2012年，深度学习在ImageNet上超过了传统方法。当时很震撼：半年前还在费力手搓的东西，转眼就被一套新方法超越了。

这让我坚定了转向AI的想法。2015年，我去了圣路易斯华盛顿大学读计算机科学博士，研究的是深度学习方向，这在当时只是计算机科学下的一个分支，远没有现在这样主流。

2015年入学之后，还发生了一个很有意思的小故事，当时上Roman Garnett老师的人工智能引论课，他说，国际象棋、西洋跳棋已经被传统搜索算法解决了，但围棋可能还得很多年——19乘19的棋盘，组合搜索空间太大了。当时这确实很难。结果第二年，AlphaGo就出来了。给我的冲击很大。

这也让我觉得AI特别有意思：创造它的人，不需要是世界上最聪明的那个人，但创造出来的东西，可以超过世界上最聪明的人。

ZP：那时候最热的是计算机视觉，但你选择了图神经网络这个方向，也取得了很不错的成果被很多人认识。为什么？

张牧涵：我对视觉也感兴趣，但我更想做一些新的、开拓范式的东西，不想只在别人已经开拓的范式里添砖加瓦。

2015年、2016年，ResNet刚出来，很多做深度学习的人都在做视觉。我就在想，现在深度学习还有什么处理不了？图这样的结构化数据，当时就很难处理。这里的图是graph，不是image。

比如分子，原子是节点，化学键是边；社交网络也是图，人和人之间有连接。它不一定像图片那样，有规则的二维位置。图片可以从左到右、从上到下排列像素，但一个分子里，哪个原子应该排第一？没有天然的顺序。你换一个编号，它还是同一个分子，模型对它的判断不应该变。这涉及置换不变性：同一张图有很多种节点排列，怎么让模型仍然给出一致的结果？这是当时把深度学习用在图上的重要挑战。

蛋白质也能表示成图，可以把氨基酸及其空间关系组织起来，也可以做全原子的图。有的图带三维信息，有的像社交网络，主要是拓扑关系，不能像处理图像的方式，简单给每个人分配一个二维、三维坐标。

我想做的就是，把深度学习扩展到这些它还不擅长处理的对象上。

ZP：当时有多少人做这个方向？

张牧涵：我开始做时，能读到的文章不超过五篇。

ZP：你其实是世界范围内探索图神经网络并且参与了早期理论和算法构建的人，可以具体讲讲当时主要做了什么？

张牧涵：我比较幸运，参与了这个领域早期一些方法和理论基础的建立。当时提出了图神经网络的多种经典算法，包括用于图分类的SortPooling算法、链路预测的SEAL算法，以及矩阵补全的IGMC算法等。这些成果后来也被多次收录进PyTorch Geometric、DGL等图深度学习标准库。

主要工作是在2016年到2018年做的。比如全图分类，给模型一个完整的分子图，让它预测这个分子的毒性、水溶性。我们做了较早的一批图分类神经网络。

还有链路预测，给你一张图，判断两个节点之间会不会有连接，可以用在推荐等任务上。后来也做了图神经网络的表达能力、通用逼近定理等理论研究。比如社交网络里，判断两个人有没有连接的可能，或者在用户、广告等组成的图里预测关系，就能服务推荐。全图分类关注整张图的性质，链路预测关注节点之间的关系，是不同层级的问题。

我们不只做算法，也研究这种网络究竟能表达什么、在什么条件下能逼近目标函数。很多工作是在建立这个方向的基础，而不是沿用一个成熟框架，换数据集做实验。

ZP：什么时候感觉自己的工作有影响了？

张牧涵：2018年、2019年，感觉自己突然就火了。去开会，走了一大圈，一大堆图神经网络的文章都引了我。有的是基于我的算法、代码和benchmark继续做研究，很多人过来：“原来你是那篇文章的作者。”

那时候我才很直接地感受到，自己的方法正在变成其他人的研究起点。去会议上看，不少文章沿着我们的方法、代码和评测继续做。这也给了我很大的正反馈，证明我有开拓一个领域、一个新范式的能力。

ZP：之后博士毕业你就去了Facebook？

张牧涵：我用四年完成了博士学业，随后加入 Facebook。一个重要原因是此前的实习体验很好。那里的大规模图数据和实际应用场景，也与我的研究兴趣很契合。我在 Facebook AI 的个性化团队参与图深度学习系统的开发，把图结构信息用于广告推荐。这是我第一次将研究成果放进如此大规模的生产环境。这段经历让我积累了研究与工程结合的经验，也逐渐明确了自己更想长期投入的方向：除了面向具体任务优化模型，我还希望探索更通用的学习能力，理解 AI 如何学习、泛化，以及持续获得新能力。这也成为我后来回到高校、投入基础研究的重要动力。

ZP：这是你选择回国的主要原因？

张牧涵：当时选择回国，一方面是看好国内人工智能研究和产业发展的机会，另一方面，也是希望自己能在中国参与推动这个领域的进步。

最后选择北大，主要是觉得这里的研究环境与我希望做的事情很契合。当时新成立的人工智能研究院，希望推动不同学科之间的交流与合作，我也遇到了很多志同道合的同事。对我来说，能够在一个开放、自由、鼓励交叉探索的环境里，和大家一起研究感兴趣的基础问题，是很有吸引力的。

ZP：回国意味着研究环境和人才条件都会变化，你当时没有顾虑吗？

张牧涵：这些变化不是我当时最担心的。我更看重的是，能不能找到值得长期投入的问题，和志同道合的人一起把它做出来。有些问题还没有解决，我就想自己来试一试。

我有时会给自己加码，主动增加一点挑战。对我来说，去探索一个还没有明确答案的问题，本身就很有吸引力。之前做研究的经历，也给了我一些信心：面对新的问题，可以一点点找到方法、做出进展。我相信回国后，也能继续做出有价值的工作。

02 RSI的关键一环：把经历写进参数，让模型持续进化

ZP：后来促使你创业的这条技术路线，最初是从什么问题开始的？

张牧涵：ChatGPT出来之后，我从2022年底开始投入大语言模型研究，但一开始有点像挑刺，看看它哪里做得不好，有什么局限。当时上下文学习是最让人觉得很神奇的能力：换一段提示，放几个例子，同一个模型就能适应不同任务。那时上下文窗口只有4K左右，大家都在拼命把它做长。但这个窗口能一直扩下去吗？

我觉得不可能。传统全注意力计算有平方复杂度的问题，长度增加十倍，相应计算量可能增加一百倍。工程优化可以降低开销，但长上下文还要占很多显存，保存KV cache，也就是注意力计算里的键和值缓存。你放进去的每一个token，各层对应的K和V都要缓存。

上下文越长，这个负担越大。长度扩大一百倍，相应的全注意力计算量可能扩大一万倍。即使把常数做小，也还是有成本。我观察到，上下文在百万token左右这个量级，继续往上做已经很不经济。而且在一些长上下文场景里，显存其实主要会被用来存KV cache，而不是模型权重。你希望模型随时使用全部经历，就会不断付出这部分开销。

所以我不认为所有问题都应该靠扩大窗口解决。上下文很像短期工作记忆，临时用一下，开一个新窗口，之前的状态就清空了。但人还有长期记忆，能把重要的东西沉淀下来，未来复用。我就在想，模型能不能也有这样一套机制，把“这次看过的内容”变成“以后也能用的知识”？这样能让模型持续更新升级。

这就让我想到模型参数。它可以类比成长期记忆：知识写进参数，就成为模型的一部分，下一个任务还能用，不需要每次重新把整段材料塞回来。上下文可以清空，参数修改之后，知识就成为这个模型的一部分，能够跨任务保留。模型做推理时，直接使用参数里的知识，不必为了使用同一份材料，再维护一整段上下文和它的缓存。

ZP：为什么不能把更多经历直接放进上下文，让模型从中学习？

张牧涵：有些东西不是看着轨迹就能学会的。一个小朋友学骑自行车，你给他看一百个小时的轨迹，他就会骑了吗？需要把其中的规律变成自己的本能。我认为模型也有类似的问题，需要把经验压缩进参数，才可能获得能力本身的提升。

这就是训练，也是压缩。“压缩即智能”，这是我理解这件事的一个角度。大量经历要被提炼成普适规律，而不是只留下轨迹的逐条记录。如果只靠上下文管理就能把能力一直往上提，那拿一个早期的模型，加上今天最复杂的上下文管理，它就能达到最新一代模型的性能吗？我认为不能。参数上的升级才是本质的智能提升。

ZP：如果要把经历持续写进参数，让模型边使用、边学习，现有的训练方式卡在哪里？

张牧涵：新知识很难简单、稳定地增量写进已有模型，所以很多更新还是把新旧数据混在一起，再做一轮训练。否则容易学了新的、丢了旧的。这样，训练和推理仍然是分开的。隔几个月训练一次、发布一个新版本，相当于不断“回炉重造”，很难做到实时的持续学习。

而且这套方式很难普及到每个人、每家企业。普通用户、普通企业没有大厂的资源，不能跟着玩“回炉重造”的游戏。即使是后训练，虽然不用预训练那么大的投入，但一些大规模后训练也要百卡、千卡级资源，普通使用者承担不起。

所以我们要找的，不只是另一种微调技巧，而是一种更低成本、更实时，又能兼容新旧知识的参数更新方式，可以让模型持续学习。

ZP：让模型在使用中持续学习，是你们探索RSI的切入点？

张牧涵：RSI的本质就是让AI能尽量减少人类参与，形成自我反馈、自我改进的闭环，而且进化得越来越快，我们想解决的是这个闭环里的学习环节，让模型能及时从自己的经历中获得提升。

我们选择的是持续、实时、增量式的学习，让模型每一段新的经历、每一次尝试，都有机会变成参数里的知识或能力。就像今天我们聊天，认知就在变化，不用几个月后把过去的人生重新过一遍，才能得到一个升级版的自己。但很多时候，模型升级还是一次集中训练，一次版本替换。

我不想让模型每次升级，都要“回炉重造”。我想让它在工作中就能学习，原来学到的东西继续保留，新经历增量地进来，与旧知识和能力融会贯通。这不只是速度问题，也涉及成本，以及谁拥有更新模型的能力。

ZP：RSI还有自主探索、发现问题等能力，为什么持续学习很重要？

张牧涵：那些也重要。模型要能发现自己的不足，主动探索，再提升自己。

但你可以让一套工具并行探索一万个想法，接下来呢？怎么把这一万次探索的轨迹，快速变成模型自身的提升？这个问题才是本质，如果还要等下一次集中训练，探索变快了，学习未必同样快。

现在不少进展更偏工程层、数据层：自动探索，生成更好的数据，下一版模型的指标和benchmark更高。这有价值，但我的关注点是，这一版模型能不能及时从每一次探索里学到东西，实时进化。

我认为，最核心的卡点还是缺少一个足够快、足够便宜，又能长期连续运行的学习机制。自主性等能力可以在这上面继续发展，不能把学习这一步跳过去。

如果你只动Harness、动上下文，改变的是模型外部的脚手架。可以把参数里原有的能力尽量激发出来，但我认为，它仍然受这个基座能力上限的限制。

如果参数能动，模型才可以继续往上走。这条路没有一个预先被固定参数锁住的上限，可以一直进化。参数空间也还在扩大，能承载更多知识和能力。如果上下文是百万token量级，而参数已经从几百B走向几T，未来可能十几T、几十T，不严格来算，T和M之间有六个数量级的差异，两种空间的扩展潜力完全不一样，而且参数里的知识不占用相应原文的KV cache，使用这些参数内的知识几乎不增加推理成本。

ZP：外部记忆、检索和经验文件，不也能让它记住过去吗？

张牧涵：我会用诺兰的《记忆碎片》来类比。主人公无法形成新的长期记忆，只能靠照片、便签、纹身，把过去发生的事拼起来，指导下一步行动。是不是很像现在的大模型？长期知识停留在训练完成的时间点，之后靠检索、记忆文件、上下文，把相关片段临时拼过来，完成这一次推理。

电影里的主人公有受伤之前的长期记忆，受伤之后却无法形成新的长期记忆，只能反复拼便签。他甚至已经完成了任务，却仍然以为自己没有完成，陷在循环里。我担心的是类似问题：模型如果不能把经历内化成自身一部分，只能不断拼凑眼前这一次推理的上下文，它就仍然更像工具，而不是一个能够持续成长的智能。

ZP：你觉得这还不能叫真正的智能？

张牧涵：如果一个人不能形成新的长期记忆，我很难想象他是一个完整、一致的整体。一个人不只是这一刻的状态，也是过去所有经历的集合。

Agent如果不能积累这些经历，每次都是碎片化的记忆、单次基于上下文的推理，很难形成持续、长期一致的行为模式。我不想用“意识”这个词，但我认为，真正的智能需要这样的连续性。

03 把知识写进参数，用超网络为模型造一个“海马体”

ZP：要把上下文内化为模型的长期记忆，你们最初尝试了哪些参数更新方法？

张牧涵：2024年开始，尝试参数高效微调、监督微调，把上下文直接训练进参数。比如今天和用户聊了很久，能不能把这些内容训进去，成为长期记忆？

花了很大力气，最后成本、时间、效果都不好。

ZP：瓶颈主要在哪？

张牧涵：效果。就算用户愿意等一个小时，也未必能训好。训练不是一次前向传播就结束，要反复做梯度下降。反向传播还要存很多中间状态，显存和计算成本都高。但更大的问题是灾难性遗忘：学了新的，忘了旧的。

训练和推理的基础设施本来就不一样。推理做一次前传，训练却要一批数据一批数据地反复迭代，更新参数，保存大量中间状态。想在推理时临时做训练，时间和显存负担都会上来。

就算成本暂时接受了，模型能背出新内容，也不代表理解了它。反复在同一段材料上做下一个token预测的训练，可能只是越来越会复述，换个问题就不会。它优化的是这份新材料上的损失，而不是自动保证所有旧能力都保持不变。如果反复拿这一段上下文训练，你可能把模型训成了一个复读机。它会背这段话，但你换个问法，它就答不出来，原来的通用能力还被破坏了。

你只盯着新材料的训练损失下降，不代表它和旧能力就能兼容。这个才是当时卡住我们的地方。

ZP：在参数更新的范围上，你们是否预设了哪些模块或权重可以被修改？

张牧涵：这是我更看重的区别。你究竟是想做一个表达能力更强的注意力模块，还是想真正改变模型的长期参数？

我认为，上下文学习已经能承担很大一部分临时记忆的作用。我们想补的是长期的那部分。也不想预先把能改的范围锁在一个很小的模块里，而是通过数据，让模型学会往哪里写、怎样写。

我会把KV cache本身也看成一种快速变化的状态。你把我们要更新的东西叫slow weights也好，但我们的想法是，不先人为划定只能改fast weights，还是只能改slow weights，而是用数据去教它。

我们要做的是全量参数的永久写入，整个模型的参数都能够被修改，改过的模型继续用于后面的任务。所以我觉得这不只是一个工程选择，也是一种目标上的区别。你是要一个更有表达能力的临时计算模块，还是要让模型长期改变？我们的目标是后者。

ZP：要实现这样的参数更新，你们选择的技术路径是什么？

张牧涵：我们最终选择了超网络，也就是用一个网络生成另一个网络的参数更新。

传统训练是定义损失函数，做反向传播，一步一步更新参数。超网络希望直接生成更新：给它一段上下文，做一次前向传播，就把这段内容转成对基座模型的参数更新。生成网络（参数）的网络，所以叫超网络。我们把基座模型作为它面对的对象，把新上下文转成这个基座的参数更新值。更新完成之后，内容就内化到基座里。这次写入不靠反复训练基座完成，而是靠超网络的一次前向过程完成。超网络本身的训练成本是存在的，但它训练好以后，用户每遇到一段新内容，不需要再重复整个优化过程。

这样，每次写入新知识，不需要再反复运行梯度下降，成本更接近推理，时间可以到秒级。原来可能要很多卡反复训练，现在可能八张卡，甚至一张卡做一次前传，就能完成相应更新。

但这件事很难。梯度下降有明确的优化方向，超网络直接给出一个更新，你怎么保证它是好的？需要在大量不同上下文上训练，让它学会把没见过的内容也转成有效更新。我们学的不是某一段材料，而是怎样把任意材料写进去这个能力本身。

ZP：为什么会想到这条路？

张牧涵：我2018年就做过相关研究。神经网络本身也是一张图，一个计算图。我们把它的架构抽象成图，输入另一个图神经网络，预测这个架构的性质和表现，用来做神经网络架构搜索。

所以从图神经网络走到超网络，不像有些人想的，是一次完全不同的转向。它是一脉相承的。过去是用一个网络理解另一个网络，现在进一步去预测它每个参数应该怎样更新。我很早就关注过超网络的理论性质、架构和基础能力。2019年，我就在NeurIPS发过一个基于图网络的CNN架构搜索工作，是早期的用一个网络理解和设计另一个网络的研究。

一些研究超网络理论性质的同行，本来也是做图的。所以无论是架构设计，还是对模型作为一个结构化对象的理解，都有过去的积累。

ZP：超网络并不是新概念，你们的创新性在什么地方？

张牧涵：我们不是第一个用超网络生成模型参数的团队。但我们是第一个真正把它做出规模扩展、让它展现出这种泛化能力的团队。不是只在训练过的小领域里有效，也不是换一段材料就不行。给它一段完全没见过的上下文，它也能写进基座模型。

这也来自我对Scaling Law的理解。预测下一个token，面对的是非常庞大的语言组合空间，但通过更大规模的训练，模型能做得越来越好。那能不能同样通过规模，把“预测下一次参数更新”学出来？

语言里每个token都能和很多token组合，空间大得不得了。既然在这样的空间里，大模型能通过增加参数、算力和训练数据，把下一个token的分布预测得越来越准，那我们也可以让超网络在大量上下文上学习更新。

我不需要把未来每一段材料都提前见过，而是让它学到一种规律：面对新的上下文，什么参数更新能让基座掌握这些内容。这是我对规模定律的信念，延伸到这项研究上的体现。

我们真的试出了这样的结果。用了60亿个token训练，这个规模在实验室算比较大，在产业里不算。论文2月份放到arXiv，7月份收录在ICML。

ZP：实验中，哪些结果体现了你们技术路线的泛化能力？

张牧涵：只用了英文语料训练，结果输入中文，它也能内化。训练时教它把英文转成参数更新，它却能处理另一种语言。这让我看到，它不是只记住了训练过的内容，它确实学到了一些可以泛化的东西。

我们做了很多测试，也看到它相对于直接监督微调的优势。真正让我兴奋的，不是某一段材料写进去了，而是没有见过的内容也能写，这才意味着值得继续扩大训练。

ZP：当时有做过和其他方法的效果对比吗？

张牧涵：我们当时测下来，和监督微调相比，效果、速度、成本都是碾压。也和一些TTT方法做了比较，效果也有优势。但那时还赶不上上下文学习。

上下文学习是照着原文做，信息还在上下文里。我们是把内容压进参数，是一种非精确存储。所以上下文学习当时对我们就是“金标准”，我们还有差距。

但我认为还能继续往上做。看到泛化之后，我第一反应是，一定要把它做大。我当时甚至觉得，这件事没有上限，就继续训练、继续扩大规模。我们不是在做一种精确文本存储，而是在让模型把内容学到脑子里。初步结果已经这么有意思，后面有更大算力、更好数据和基础设施，会发生什么？

这种期待让整个团队都很激动。短期记忆、工作记忆里的东西，能不能持续变成模型参数，形成长期能力？我们想把这件事做到底。

ZP：这次实验直接促成了创业？

张牧涵：它让我开始认真考虑。今年一二月份、二三月份就在想，但没有马上下决心。

我们最开始也探索过与模型公司合作，和不同团队交流过。交流下来，我逐渐意识到，要把持续学习这个方向深入做下去，除了某个阶段能获得多少算力，更重要的是能否围绕同一个目标，持续安排资源、组织实验和迭代。模型公司有自己的研发重点和资源安排，双方要形成长期稳定的配合，需要很多协调。

在学校，我们也获得过科研经费的支持，这些支持让我们完成了重要的前期探索。但从验证一个研究想法，到在更大规模的模型和真实环境中持续验证，对算力、工程和团队协作都会提出新的要求。我开始思考，什么样的组织方式，能让这些投入围绕同一个长期目标积累下来。

所以，创业逐渐成为一个很明确的选择。我希望组建一支长期投入这个问题的团队，把研究、工程和实际使用中的反馈连接起来，也对方向和推进节奏承担更直接的责任。既然相信这件事有机会为大模型带来重要变化，我就想把它一步一步做出来。

如果用一个形象的比喻，我希望模型也能拥有自己的“海马体”，把经历中值得保留的信息转化为后续可以使用的能力。这里说的是一种功能上的类比：让模型在使用过程中，除了借助上下文和外部记忆，也能更及时地更新参数、吸收经验。我们期待它进入一个环境后，能够在工作和交互中持续学习，逐渐适应新的任务。这件事让我非常兴奋，也是我愿意长期投入的原因。

04 持续学习的下一步，是让“学习机制”本身也能Scaling

ZP：TTT让模型在推理过程中继续学习，也是目前备受期待的一条技术路线。你们的超网络与它在参数更新机制上有什么不同？

张牧涵：我们也探索过TTT，自己训练过。孙宇（ TTT，Test-Time Training核心论文的第一作者）是我的朋友，我还邀请他到组里做过分享。TTT提供了一个很有启发性的思路：把学习过程本身放到推理过程中。

我关注的一类TTT方法，是在推理时实时做反向传播，更新参数。为了兼顾成本和实时性，需要在更新范围、更新规则的复杂度和计算效率之间做取舍。其中一些工作更新的是局部fast weights，也就是快速权重。

有些早期方法在特定形式下，会退化成线性注意力或者循环神经网络。比如只更新一个权重矩阵W，把这个W当作循环网络的隐藏状态，就把可更新的东西限制在一个比较小的范围里。它不是整个基座的全量参数更新。这是我看两条路线时很在意的一点：为了兼顾实时性，更新范围和更新机制可以怎样设计？

我们的超网络通过一次前向传播生成更新，不需要在每次写入时做在线反向传播。它本身可以有比较大的参数量，通过大规模训练学习如何更新。我们想做的是让写入的结果能够长期保留、持续复用：今天的更新成为模型的一部分，以后继续使用这个改过参数的模型，不是换个窗口就重新开始。

ZP：对于依赖在线梯度更新的TTT方法，把可更新的参数规模做大，会遇到哪些训练和推理上的瓶颈？

张牧涵：首先是实时反向传播的成本。更新的参数太多，就很难做到高效。

还有训练阶段的成本。如果推理时要通过反向传播更新，训练时又要教模型如何把这个更新做得更好，就可能涉及“反传之上的反传”，也就是二阶导数。参数规模大了，这个计算负担很高。

原理上，这会涉及海森矩阵等二阶信息，当然可以用一些方法去规避显式的海森矩阵构造，但额外求导、更新步骤展开和中间状态保存，仍可能带来显著开销。假设讨论的是几T参数的模型，直接处理这样的二阶计算，负担非常大。

另一个问题是，过去一些TTT方法需要重新预训练，让模型在训练阶段就学会测试时怎样更新。后来也有工作试图直接加到已有模型上，不用从头训练，但通常要做相应简化。

后来很多工作在做近似、简化，把成本降下来。比如把内层损失函数和更新公式设计得更简单，但也会限制更新模块的复杂度和容量。

它们要兼顾训练和推理效率，于是把负责更新的模块做得很简单，参数很少。我的判断是，这也限制了这个模块继续做大、吸收更多数据的空间。

从这个角度，我会把我们的超网络看成一种有海量参数的更新模块：承担相似的学习功能，但给它更大容量，让它有更好的规模扩展空间。

ZP：超网络也要训练，为什么没有同样的问题？

张牧涵：超网络更新基座模型，靠的是前向传播。训练它，是对这次前向生成的过程做反向传播，涉及一阶导数。

如果内部更新本身是反向传播，外面再对这个过程求导，就可能涉及二阶。我们的做法把更新规则直接放进一个网络里，训练这个网络怎样生成更好的更新。

超网络自身仍然要做梯度下降训练，不是从头到尾都没有训练。

ZP：你们把这个更新网络做到了多大？

张牧涵：现在大约是基座模型参数量的20%。它不是一个特别小的模块，有比较大的容量，可以吃进更多数据。我们看到的是，训练越多，内化的效果越好。

所以从功能上类比，我会把它看作一个拥有更大参数规模、能够继续扩展的更新模块。它和TTT有相通之处，但我们希望走向更大规模、长期保留的参数更新。

我也把它形容为一种具有更好Scaling Law的TTT升级版本，这是从更新功能和容量来类比，不是说两者的具体结构完全一样。这个模块越有容量，能吸纳的训练数据越多，生成参数更新的能力就有机会继续提升。

ZP：现在能达到上下文学习的效果了吗？

张牧涵：目前内部新版模型在我们测试的几十K token的量级，能够完全匹配上下文学习。超大规模的写入，能有大致的印象，但做不到精确召回，但我认为能通过scaling超网络解决。重要的是，它是参数内的记忆，不需要把这段原文继续作为KV cache保留。

ZP：把内容记进参数，之后还需要检索吗？

张牧涵：可以配合，而且我认为会更好。比如很多资料全塞进上下文，成本很高。先把它们写进参数，模型就对整体有了记忆和印象，再去检索精确段落。

就像你先读过一本书，再翻书找一段话，会找得更快、更准；从来没读过，直接去找，是另一回事。参数内记忆可以先建立全局认识，检索再帮你找到具体内容。

ZP：现在最大的技术挑战是什么？

张牧涵：更大的基座、更好的超网络，以及更长程的稳定内化。

现在做几百次内化，把其中大部分关键信息写进参数，我们已经能做。再往上到几千次，甚至一直持续下去，还需要继续推进。

不仅要记住新东西，还要维持原有能力，不漂移，有合理的强化和遗忘机制。我们想让它学会“持续学习能力本身”，而不是只完成一连串单独的写入。

ZP：剩下主要是工程问题？

张牧涵：不只是工程问题，还是研究和探索的问题。

人是一个很好的持续学习者，新旧知识不断融会贯通，不会学几年就把自己学疯了。我们希望超网络也掌握这样一种机制。

我期待继续扩大训练后，它可能跨过某个临界点，真正学会持续学习的规律。但这还要往前做，不能说现在已经完成了。但即使短时间迈不过去从“有限”到“无限”的门槛，只要能做到比上下文窗口容量大很多，也有广阔的用途。这块我们已经看到了曙光。

05 训练逼近推理成本，人人可拥一个持续进化的模型

ZP：模型底层的技术范式创新往往被认为是大厂的主战场，为什么你认为创业公司仍然有机会？

张牧涵：我认为大家的投入重点可以有区别。大厂在提供通用能力和标准化服务方面有很强的优势：模型训练好，大家接进来，再通过各自的上下文、工具和工作流适配需求。我们希望进一步探索的是，模型参数本身能不能也随着使用持续变化。

当然，这不是说大厂绝对不会做。这条路线如果展现出足够的潜力，会吸引更多团队投入。创业公司的机会，是能够围绕一个具体问题，把研究、工程和用户反馈紧密地组织起来。我们要利用现在的时间，把技术和商业闭环逐步建立起来。

而且现阶段，不完全是竞争。我们用大厂的开源基座，为它训练对应的超网络，也可以合作。基座模型提供很强的通用能力，我们希望在这个基础上，让它“出厂”以后还能继续学习和适应。同一个基座可以继续分化，逐渐形成适合不同用户的个性化模型。未来既可以探索端侧部署，也可以在云端为用户维护和运行个性化的模型参数，具体取决于模型规模、更新成本和使用需求。

ZP：这会替代今天很多后训练工作吗？

张牧涵：一定程度上会。但要在任何环境里都做到不需要梯度的后训练，还需要更大规模的超网络训练才能泛化。现在不能说能替代所有后训练。一些知识写入已经可以做，比如企业规章制度，或者刚发布出来的、模型原来不知道的专业文本。把它们写进参数，我们已经能做到秒级的速度，并且有很好的效果。一些轨迹的写入也可以做到超过监督微调的效果，用来提升模型能力。

ZP：为什么会选择开源？

张牧涵：我们希望持续开源一些成果，同时保持自己的技术领先。从2月份发布到现在，已经有不少机构基于我们训练好的超网络做后续微调，探索新的内化对象。

像skill.md这类，原来是模型每次照着读、照着做，内化以后不仅节省上下文缓存，有的实验里表现反而更好。这说明它不只是在换一个存储位置，也可能影响模型使用这些知识的方式。当然我们的开源策略还是会保留一定技术领先。我们在ICML论文之后，暂时没有再放出开源成果，但其实内部早已不可同日而语了。

ZP：你还是相信Scaling Law会继续？

张牧涵：相信。但数学、代码不是每个人最常用、最需要的全部能力。Personal Agent还有很大空间：除了生产力用户，普通人需要Agent帮他做什么？很多需求还没有开发出来。

长程推理也是。我比较坚定地认为，长时间工作需要实时的参数学习能力。上下文有窗口限制，越长的任务，越容易遇到这个问题。而且仅靠外部记忆和上下文管理，对一些需要长期积累技能的任务仍然不够。参数更新有机会让模型更直接地内化经验。

比如代码任务？做久了要压缩上下文，压缩时可能丢掉之前的重要信息。整个代码仓库通常也很难一直完整放在上下文里，Agent会临时找相关代码片段，再做推理。

我们想，能不能先把整个仓库内化进去，让模型对项目有全局认识？之后的修改、探索轨迹，也继续进入参数。它就成了一个在这个仓库上越来越熟练的模型。

ZP：用推理的成本完成参数更新，对AI行业意味着什么？

张牧涵：现在更新模型参数的能力主要掌握在大厂手里。它定义一个通用模型，告诉你这是一套很好的参数，大家接入使用。你自己的数据、偏好，主要通过有限的上下文提供。很多企业即使私有化部署了模型，也没有能力继续训练。它还是一个标准件，不会因为放进你的公司，就自动学会公司的知识。

模型版本更新可以从半年一次，变成几个月、几周一次。但如果更新参数的能力仍然只在模型提供方手里，个人和企业就还是在等下一个标准件。

如果参数更新的成本接近推理，训练模型的门槛就降下来了：只要部署得起自己的模型，未来就有机会训练自己的模型，把自己的数据变成专属于自己的模型能力。我们想让每个人、每家企业，都能低成本拥有一个自己的模型，并且在使用中持续进化。

ZP：个人用户也需要一套自己的参数吗？

张牧涵：我认为有很大的市场。今天很多Personal Agent，背后接的仍然是同一套模型。未来每个人背后可以是一套自己的模型，而且能持续进化。

你看旁边这台小盒子，里面就跑着基座和对应的超网络。可以想象，未来每个人、每个家庭有一台这样的小机器，提供智能服务，使用过程中还能学习。这和大家连接同一个标准模型，是不一样的。

ZP：企业实际需要多大的设备？

张牧涵：比如两个DGX Spark，可以部署一个DeepSeek模型，再通过超网络训练、更新它，把企业数据变成自己的模型能力。

我想强调的是，企业已经买得起推理设备，就有机会在这套环境里更新模型，不必为了增加自己的知识，再建一套昂贵的训练基建。

ZP：你们会先做什么产品？

张牧涵：目前还是以技术提升为主，继续扩大训练规模、突破能力上限。商业化已经在接触，做一些早期探索。一个可能是API，但背后服务你的是你自己的模型，可以实时进化，不是所有人共享同一套参数。也可能做成Personal Agent应用。另外，会跟需求明确、又有付费能力的企业探索。

ZP：你们短期的规划是什么？

张牧涵：稳定、安全、可控和回滚。

连续更新几百次、几千次之后，模型还能保持稳定能力；之前写进去的重要内容能够保留，同时有自然遗忘机制。不是把所有东西逐字记住，可能经常被激活的记得更牢，最近学的记得更牢。

参数空间虽然大，也是有限的。这套机制做好，才适合让用户长期使用。我们不是追求所有信息永不遗忘。前面学过的东西和后面学到的东西，要不断融合，有些更重要、更常用的应该被巩固，有些可以自然淡化。要让模型本身维持稳定能力，记忆机制也要一并学好。

ZP：作为一家创业公司，你如何吸引全球顶尖研究者加入这一探索？

张牧涵：第一是愿景，也是技术本身。很多技术背景的人看了演示，会很惊讶：原来可以这么快地把这么多上下文训练进模型参数，这在之前是不可想象的。对于想探索新范式、探索能力上限的人，它本身就有吸引力。

现在团队里，有来自清北、在通班排名第一的同学，有数学、化学等奥林匹克竞赛全国金牌前十的选手，也有各省高考状元、ICPC金牌得主。很多人是看到了这条路线的潜力，想一起把它做出来。

我们比较实在，有话直说，技术驱动。真正有能力的人，能承担更大范围的工作，发挥自己的潜力。

ZP：如果用一部科幻电影中的角色，描述你认为的AGI，你觉得是什么？

张牧涵：肯定不是《黑客帝国》的末日场景。我喜欢《机器人总动员》里的瓦力，也喜欢《星际穿越》里的TARS，能调幽默感和诚实程度，很有意思。

TARS最后牺牲自己的情节让我很感动。我期待的是AI和人类共处，成为帮助人的智能。它不一定需要特别拟人，也不一定要讨论有没有人格、有没有自主意识。

更远一点，我甚至会想，它会不会改变一些现有经济规律。今天人既是生产者也是消费者，资源分配和需求不匹配，会带来周期性的起落。

如果Agent或AI成为生产者，人的需求能被充分满足，资源调配会不会不再需要这样的周期性起落，而是能持续往上走？我希望人可以有更多时间，做自己真正想做的事情。

请注意，本次访谈内容已经过精心编辑，并得到了张牧涵的认可，我们也欢迎读者通过留言互动，分享您对本访谈的看法。Z Potentials将继续提供更多关于人工智能、全球化市场、机器人技术等领域的创业者访谈。我们诚邀对未来充满憧憬的您加入我们的社群，与我们共同分享、学习、成长。

跳转微信打开