跳到正文
热点事件持续更新

Q Labs 提出无需反向传播的 Dust 预训练方法

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

2026 年 10 月 6 日,Q Labs Research 提出名为 Dust 的零阶优化方法,用于 Transformer 语言模型的预训练。据该报道,Dust 在 Transformer 语言模型预训练上可与反向传播竞争。其做法是对每个 token 独立扰动激活,即节点扰动,使一次前向传播即可并行评估整个虚拟种群,从而无需反向传播。目前该消息经 Hacker News 热门渠道传播,报道中未提及更多实验细节、模型规模或对比结果,事件仍处于方法提出与初步传播阶段。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月6日
  1. qlabs.sh(经 Hacker News)
    Q Labs Research 提出 Dust:无需反向传播的 Transformer 预训练零阶方法

    Q Labs Research 提出 Dust,一个在 Transformer 语言模型预训练上可与反向传播竞争的零阶优化方法,通过对每个 token 独立扰动激活(节点扰动),使一次前向传播即可并行评估整个虚拟种群。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。