Q Labs 提出去反传方法 Dust 预训练 Transformer，第三方复现指出优势有限

原创机器之心 2026-10-26 14:13 北京

对「苦涩的教训」的又一次致敬？

编辑｜张倩

训练大模型，能不能不用反向传播？

这事一直有人琢磨。只是反向传播太成功了：过去这些年，反向传播一直是训练神经网络的唯一主流算法。我们今天所有的架构、优化器、甚至 GPU 硬件，某种意义上都是围着它长出来的。

但一直有人不信这个邪：反向传播要求整个网络处处可微，这其实是个很强的限制，不可微的模块、离散的计算、外部程序，统统进不了训练回路。

那么，如果算力足够便宜，能不能干脆不「算」梯度了，改用一种最原始的思路 —— 随机把网络改一改，看它变好还是变坏，变好的方向就保留，变坏的就扔掉。这种办法笨是笨，但胜在什么都不挑：不管网络内部长什么样、可不可微，它都能用。

一家叫 Q Labs 的小型研究实验室最近尝试了类似方法，并将方法命名为「Dust」。

他们声称，这是第一个在 Transformer 预训练任务上能与反向传播正面竞争的零阶（zeroth-order）优化方法。

它的大致思路是：不碰权重，而是给每一层输出的激活值加高斯噪声，而且在每个 token 上独立地加。这样每个 token 都相当于一个「虚拟实验个体」，一次前向传播就能并行评估几千个个体。这就是他们所谓的「虚拟种群」（virtual population）。哪个噪声让 loss 降了，就给它记功；把记功后的噪声加权平均，就得到了梯度估计。

Q Labs 宣称，Dust 在大规模种群（即计算量显著更大）时能很好地近似反向传播，并且在多种设置下甚至超越了它。他们认为，「这暗示在计算资源充裕的条件下，我们或许能够超越反向传播。」

但瓶颈也很明显：scale。作者自己说得很直白 ——Dust 目前还远比反向传播贵，要再便宜几个数量级才有资格谈「替代」。论文里的实验最大也只到 243M 参数、20M token 的训练预算，和工业界动辄千亿 token 的预训练相去甚远。

来自 SOTAAZ Lab 的第三方复现也为 Dust 提供了一个更冷静的观察角度：在论文设定的一轮 SGD 比较下，Dust 的结果基本可以复现，但它与反向传播的差距很小，并未显示出论文所强调的明显优势；一旦给反向传播换上更合适的优化器，或允许其在同一数据上多训练几轮，反向传播便明显领先，而且计算成本远低于 Dust。换言之，Dust 的意义更在于证明零阶方法可以用于 Transformer 预训练，而不是在当下替代反向传播。

为什么要挑战反向传播？

在团队公布的技术博客中，他们阐述了自己的研究动机，声称这本质上是对「苦涩的教训」（The Bitter Lesson）的又一次致敬：随着世界上可用的算力越来越多，那些依赖巧妙归纳偏置（比如可微性、反向传播、高阶梯度近似）的方法，最终往往会输给「通用的、吃算力的暴力搜索」。

他们举的例子是 AlphaGo Zero：用人类棋谱引导的版本上手更快，但纯自我对弈的版本在充足算力下反超了它。作者的类比是 —— 可微性和反向传播可能就是「低算力时代的好偏置」：它让学习变得高效，但在高算力时代，它反而限制了能被训练的架构空间。

他们进一步推测，这也许能解释为什么现在的神经网络需要海量数据才能泛化：梯度方法并没有充分探索 loss landscape，而一个基于搜索的、更灵活的信用分配算法，可能是通往更好泛化的关键一步。

所以 Dust 的目标很「狂」：用一个更依赖暴力计算、更少依赖解析结构的算法，替换掉反向传播。

Dust 如何绕开反向传播？

Dust 的核心思路，是把传统进化策略中的「权重扰动」，转移到 Transformer 的「激活空间」，并利用 Token 维度实现大规模并行。

传统进化策略（ES）训练模型时，需要生成多份略有不同的模型权重，让它们分别执行前向传播，再根据损失变化判断哪些扰动值得保留。

这种方法虽然不依赖反向传播，但代价很高。每个种群成员都需要单独执行前向计算，种群规模越大，计算开销也越高。

此前的 EGGROLL 已经尝试通过低秩扰动降低成本，但仍然需要为每个种群成员分配一个独立的序列位置。

Dust 则换了一个思路：不直接修改模型权重，而是在每个线性层的输出上添加随机噪声，并为每个 Token 独立生成扰动。

具体来说，对于线性层 yₜ = Wxₜ，Dust 将输出修改为：

yₜ → yₜ + σaₜ

其中，σ 控制扰动幅度，aₜ 是服从标准正态分布的随机噪声。

这样一来，每个 Token 都相当于在体验一份略有不同的模型参数，但实际上无需复制或修改权重。研究团队将其称为「虚拟种群」（Virtual Population）。

其优势在于，一次前向传播就能沿 Token 维度同时评估数千个虚拟种群成员，而传统权重空间进化策略通常需要为不同成员分别进行前向计算。

这也是 Dust 能够扩大种群规模、降低采样成本的关键。

不用反向传播，

怎么知道参数该往哪里更新？

有了扰动，下一步就是判断哪些扰动真正改善了模型表现。

Dust 的方法是：观察加入噪声后，每个 Token 的损失发生了什么变化。如果某个方向的扰动降低了损失，就给予更高奖励；反之则降低奖励。

不过，Transformer 中的 Token 之间存在依赖关系。尤其在因果注意力机制下，前面某个 Token 的变化，可能影响后续多个 Token 的预测结果。

因此，Dust 引入了带衰减系数的信用分配机制：

其中，rₜ 表示第 t 个 Token 的扰动奖励，cₛ 表示第 s 个 Token 的损失改善程度，γ 控制未来 Token 的贡献权重。

直观来说，某个 Token 的扰动如果让后续预测也变得更准确，就可以获得额外奖励。

随后，Dust 将多次采样得到的随机噪声与对应奖励加权平均，估计线性层输出端的误差信号，再与该层输入进行外积，得到用于更新权重的梯度估计：

其中，ĝₜ 是通过扰动奖励估计的输出端误差信号，xₜ 是线性层输入。

这个过程与传统反向传播有一个重要区别：

反向传播通过链式法则，逐层计算梯度；Dust 则根据扰动带来的损失变化，在前向计算中估计更新方向。

因此，Dust 可以在不执行标准反向传播的情况下，获得用于训练 Transformer 的近似梯度。

同时加入这么多噪声，

如何避免相互干扰？

大规模并行也带来了新问题。

如果多个层、多个 Token 同时受到扰动，某个 Token 的损失变化就可能混入其他扰动的影响，难以判断究竟是哪次扰动发挥了作用。

为此，Dust 设计了几项针对性的优化。

首先，不同类型的层分别执行扰动计算，并缓存未扰动的中间结果，减少重复前向传播。

其次，对于注意力模块内部的 Query、Key、Value、Gate 等组件，Dust 不直接使用 Token 损失判断扰动效果，而是根据扰动引起的注意力输出变化，以及已估计的输出误差信号，为扰动分配奖励。

最后，对于语言模型输出头，Dust 直接在缓存的 Logits 上进行扰动，只重新计算相关的交叉熵损失，从而以较低成本扩大种群规模。

研究团队还通过超参数搜索，调整不同层的扰动强度、采样比例和信用分配范围。

最终，Dust 将传统进化策略中昂贵的模型权重采样，转化为更容易并行的 Token 级激活扰动，让 Transformer 可以依靠前向计算中的奖励信号完成参数更新。

其关键价值在于，为大模型预训练提供了一条不依赖标准反向传播的训练路径。

不过，能否在更大模型、更长训练周期和实际硬件环境中获得计算效率优势，仍需要结合实验结果进一步判断。

不用反向传播，

Dust 能训练出什么水平的模型？

方法听起来很巧妙，但真正的问题是：靠随机扰动估计梯度，能否与成熟的反向传播正面竞争？

研究团队在 FineWeb 数据集上训练了一系列 Transformer，并将 Dust 与传统反向传播、进化策略 EGGROLL 进行比较。

实验结果显示，随着种群规模扩大，Dust 的训练效果持续改善，在部分训练预算下甚至超过了反向传播。

相比 EGGROLL，Dust 的优势更加明显。即使 EGGROLL 使用 16384 个种群成员，效果仍不及仅使用 64 次扰动采样的 Dust，双方相差 256 倍。

这说明，将扰动从权重空间转移到激活空间，确实能够提高采样效率。

更有意思的是，当模型参数量扩大约 120 倍，从 200 万增长到 2.43 亿时，Dust 仍然能够有效训练。

在较大的种群规模下，3800 万和 2.43 亿参数模型的测试损失，反而低于最小的 200 万参数模型。而且，相比小模型，大模型能够从增加采样次数中获得更多收益。

这挑战了零阶优化难以扩展到大型神经网络的传统印象，也说明参数规模增加，并不必然导致随机扰动方法失效。

那么，Dust 通过随机采样得到的更新方向，究竟有多可靠？

研究团队进一步将 Dust 估计的梯度与反向传播梯度进行比较，发现随着采样规模增加，两者的方向越来越接近。

即使模型已经经过较长时间训练，这一趋势依然存在，表明 Dust 可以通过扩大种群规模，持续获得有用的梯度信号。

不过，这些结果仍有边界。

目前 Dust 最大只在 2.43 亿参数模型上验证，实际预训练的最大数据预算为 2000 万 Token。而且，部分优于反向传播的结果来自曲线拟合推测，尚未在真实训练中直接实现。

因此，Dust 已经证明了不依赖标准反向传播训练 Transformer 的可行性，但能否在更大规模上取得性能和计算效率的双重优势，还需要进一步验证。

Q Labs 是什么来头？

Q Labs 的研究有一条很清楚的主线：如果不再给模型更多数据，只给它更多计算，它还能学得更好吗？实验室官网把数据效率和泛化能力列为核心方向，并披露投资者包括 Jeff Dean。

Dust 就是沿着这条线走出来的。此前，团队推出 NanoGPT Slowrun，把数据预算固定下来，让研究者比拼谁能把有限的数据用得更充分；随后又提出 q0，让多个模型在同一份数据上探索、相互学习，再组合它们的预测。在 Slowrun 设定下，q0 报告了相对参考基线约 12.9 倍的数据效率。这项工作也有普林斯顿大学研究者参与。

到了 Dust，他们把问题再往前推了一步：如果训练方法本身也换掉，更多计算能不能换来新的收益？

两位联合创始人的经历，提供了一点理解这支团队的线索。Samip Dahal 曾共同署名 Replit 的 Ghostwriter 发布文章，参与过早期 AI 编程工具相关工作；Akshay Vegesna 就读于加州理工学院，曾在自动驾驶公司 Nuro 的感知团队用神经网络重建跟踪系统。两人都有把机器学习用到实际系统里的经历，如今把研究重点放到了学习算法本身。

团队推进研究的方式也值得一提：论文之后，紧跟着代码和公开竞赛。 Dust 发布后，他们推出不允许反向传播的 Noise speedrun，让社区围绕同一个基准继续改进算法。Dust 的另外两位作者 Bishwas Mandal 和 Serdar Gülbahar，也是这个项目列出的核心贡献者。

从固定数据预算，到探索模型种群，再到挑战反向传播，Q Labs 一直在追问同一件事：我们现在使用算力的方式，是否还远远不够好？

下一步，要看它能走多远

Dust 发布时，Samip 就承认，它仍然远比反向传播昂贵。但他相信，随着计算增加，更依赖搜索的零阶方法有可能继续进步，甚至最终替代反向传播。