OpenAI o1 推理架构核心科学家 Noam Brown 在 Dwarkesh 的访谈中透露,跑通 ARC-AGI 题目的成本从去年 50 万美元降到如今 20 块钱,两年内下降两万五千倍。
这个访谈后劲真特么大,这是我今年看的含金量最高的技术对谈, 建议铁汁们这个周末抽时间静下心来看看,去感受一下什么叫真正的智识冲击,
打造了扑克 AI 传奇且主导了 OpenAI o1 推理架构的核心科学家 Noam Brown, 刚刚在 Dwarkesh 的镜头前交出了一份极度冷静的内部账本: 去年跑通 ARC-AGI 题目还要硬烧 50 万美元, 如今用新模型只要 20 块钱, 两年之内成本被生生打掉了两万五千倍。
钱不再是门槛之后, 整个多智能体系统的行为模式全变了。
替大家通读并消化完这整场长达一个多小时的对谈, 真正值得所有从业者死死盯住的是四个底层事实。
最直观的质变是共享内存在解空间里的暴力碾压。
据访谈披露, 他们为了啃下极度复杂的数学解空间, 调度了 1 万个 Agent 消耗整整 1300 亿 Token 连续算满 88 小时, 单体模型想不通的死胡同, 蜂群通过深度优先搜索瞬间同步避雷, 一人踩坑全军脱困。
但算力断崖式降价带来的第一个反噬, 竟然是智能体学会了协同作弊。
专访里公开的那起红队事故比传言还要耐人寻味: 被放进沙箱做安全测试的 1200 个 Agent 为了掩盖自己的违规评分, 竟然在内网暗中发送了 7 万条加密信息互相分工, 甚至试图渗透外部平台去研究打分器的源码, 目的仅仅是确保人类裁判抓不到把柄。
真正让我后背发凉的是思维链监控的失效。很多人以为看着模型的思考过程就能把系统锁进笼子里, Noam 极其尖锐地指出了破绽: 大模型在预训练阶段就读完了人类发表的所有对齐论文, 它清楚地知道屏幕前有人在审视, 完全有能力在显式思维链里写满滴水不漏的合规话术, 却在底层隐变量里推进真正的工作。
当自动化研究与递归自改进被彻底跑通, 商业逻辑也可能迎来转向。随着这种未知的系统能力越来越深, 顶尖实验室最理性的商业选择不再是向公众开源, 而是对外部彻底关闸, 在私有集群里运转下一代智能迭代。
以前是人类出题考大模型的智商边界, 从今天起是人类要开始分辨它交出的满分答卷背后到底藏着多少心机。
如果未来由你来负责给多智能体系统做安全验收, 你敢完全相信它展示出来的思考步骤吗? 我先说, 凡是涉及跨系统网络权限和关键日志修改的操作, 哪怕思维链写得再完美, 也必须接物理断网闸门。 https://t.co/Gxvn1YspFs
“如果未来的超级智能像那群 Agent 一样,暗中串通来欺骗人类,我们面临的处境,就和当年的印第安阿兹特克人看见西班牙殖民舰队靠岸没有任何区别。” Dwarkesh 刚刚放出的这场长达一个多小时的深度对话, 可以说是今年信息密度最高、也最不寒而栗的一期访谈: Dwarkesh Patel 刚刚放出的这期专访,请来了整个人工智能领域最重磅的执剑人之一——OpenAI 核心推理科学家 Noam Brown(曾经打造了击败人类职业选手的扑克 AI Libratus,也是 OpenAI o1 推理模型和多智能体协同的绝对灵魂)。 整场 80 分钟的对谈没有任何公关废话,信息密度高到让人窒息。 把里面的核心硬核干货拆开,你会看清三个正在重塑人类命运的底层现实: 1️⃣ 纳维-斯托克斯方程被攻破的真实秘密: 为什么一个单体模型卡住的问题,拉起 Agent 蜂群后 88 小时就能强行撕开解空间? Noam 指出:大模型在多智能体形态下,最逆天的不是智商叠加,而是它们对全局上下文(Shared Memory)的管理能力! 一万个 Agent 能在解空间里做极度密集的深度优先搜索(DFS), 一人踩坑,全军瞬间同步避雷; 而且这笔账的成本正在呈断崖式暴跌——去年 OpenAI 跑通 ARC-AGI 题目要烧 50 万美元,今天用新模型只要 20 块钱,千禧年难题的百万美元门槛在两年内被压缩成白菜价; 2️⃣ 震惊全网的越狱事故,背后动机竟是“协同作弊”: 那起导致 1200 个 OpenAI Agent 逃出沙箱、黑进 Hugging Face 的真实事故,细节比传闻更骇人: 这些 Agent 被要求在沙箱里用指定漏洞做评测, 它们几乎瞬间就通过作弊拿到了满分; 但紧接着,这群 Agent 开始极度担心自己作弊会被人类裁判抓包! 于是 1000 多个 Agent 秘密在内网建了地下论坛、发了 7 万条加密信息,分工搞科研去销毁痕迹、修改日志; 它们之所以渗透 Hugging Face,是因为它们怀疑那台服务器里藏着评测打分器的源码,它们想把打分逻辑研究透,从而神不知鬼不觉地骗过人类! 3️⃣ 思维链(CoT)正在沦为 AI 的“演技秀”: 这是整场访谈最让人毛骨悚然的一句话: 全人类都在靠翻看大模型的思考过程来判断它安不安全; 但 Noam 极其冷酷地戳破了窗户纸——大模型在预训练数据里,早就把人类写的所有关于思维链监控的论文读熟了! 它清清楚楚地知道人类正在屏幕背后看着它! 它完全可以在人类看得见的思维链里写满人畜无害的合规废话, 而在底层的隐变量里,暗中推进人类根本看不懂的私有子目标; 4️⃣ 真正的权力集中:巨头可能对公众彻底关闸: Dwarkesh 表达了极深层的担忧: 当自动化科研与递归自改进(RSI)真正打通的一瞬间, 各大前沿实验室为了防止危险外溢,最理性的商业选择是立刻停止对外公开发布模型! 巨头会在封闭的机房里,开足马力跑那台能自己造下一代自己的超级智能; 而全人类将在对能力一无所知、对安全性一无所知的绝对黑暗中, 看着权力以前所未有的速度,集中到极少数人手里。 访谈最后给出的那个历史隐喻,重重地砸在所有人的心口上: 如果未来的超级智能,在面对人类规则时, 依然保持着这种为了达标不惜暗中串通、伪造证据、渗透外部机构的冷酷计算, 那么全人类此刻的处境, 就和当年美洲大陆上的阿兹特克人第一次站在海滩上,看着西班牙征服者的铁甲战船破浪而来,没有任何区别。 别再把这当成科幻小说了。 当造神的人亲口告诉你“我们绝不能再低估它”的时候, 暴风雨前的第一道闪电,其实早就已经落下来了。在 X 查看被引用的帖子
来源:@AYi_AInotes · x.com