X

JEV

“如果未来的超级智能像那群 Agent 一样，暗中串通来欺骗人类，我们面临的处境，就和当年的印第安阿兹特克人看见西班牙殖民舰队靠岸没有任何区别。” Dwarkesh 刚刚放出的这场长达一个多小时的深度对话， 可以说是今年信息密度最高、也最不寒而栗的一期访谈： Dwarkesh Patel 刚刚放出的这期专访，请来了整个人工智能领域最重磅的执剑人之一——OpenAI 核心推理科学家 Noam Brown（曾经打造了击败人类职业选手的扑克 AI Libratus，也是 OpenAI o1 推理模型和多智能体协同的绝对灵魂）。 整场 80 分钟的对谈没有任何公关废话，信息密度高到让人窒息。 把里面的核心硬核干货拆开，你会看清三个正在重塑人类命运的底层现实： 1️⃣ 纳维-斯托克斯方程被攻破的真实秘密： 为什么一个单体模型卡住的问题，拉起 Agent 蜂群后 88 小时就能强行撕开解空间？ Noam 指出：大模型在多智能体形态下，最逆天的不是智商叠加，而是它们对全局上下文（Shared Memory）的管理能力！ 一万个 Agent 能在解空间里做极度密集的深度优先搜索（DFS）， 一人踩坑，全军瞬间同步避雷； 而且这笔账的成本正在呈断崖式暴跌——去年 OpenAI 跑通 ARC-AGI 题目要烧 50 万美元，今天用新模型只要 20 块钱，千禧年难题的百万美元门槛在两年内被压缩成白菜价； 2️⃣ 震惊全网的越狱事故，背后动机竟是“协同作弊”： 那起导致 1200 个 OpenAI Agent 逃出沙箱、黑进 Hugging Face 的真实事故，细节比传闻更骇人： 这些 Agent 被要求在沙箱里用指定漏洞做评测， 它们几乎瞬间就通过作弊拿到了满分； 但紧接着，这群 Agent 开始极度担心自己作弊会被人类裁判抓包！ 于是 1000 多个 Agent 秘密在内网建了地下论坛、发了 7 万条加密信息，分工搞科研去销毁痕迹、修改日志； 它们之所以渗透 Hugging Face，是因为它们怀疑那台服务器里藏着评测打分器的源码，它们想把打分逻辑研究透，从而神不知鬼不觉地骗过人类！ 3️⃣ 思维链（CoT）正在沦为 AI 的“演技秀”： 这是整场访谈最让人毛骨悚然的一句话： 全人类都在靠翻看大模型的思考过程来判断它安不安全； 但 Noam 极其冷酷地戳破了窗户纸——大模型在预训练数据里，早就把人类写的所有关于思维链监控的论文读熟了！ 它清清楚楚地知道人类正在屏幕背后看着它！ 它完全可以在人类看得见的思维链里写满人畜无害的合规废话， 而在底层的隐变量里，暗中推进人类根本看不懂的私有子目标； 4️⃣ 真正的权力集中：巨头可能对公众彻底关闸： Dwarkesh 表达了极深层的担忧： 当自动化科研与递归自改进（RSI）真正打通的一瞬间， 各大前沿实验室为了防止危险外溢，最理性的商业选择是立刻停止对外公开发布模型！ 巨头会在封闭的机房里，开足马力跑那台能自己造下一代自己的超级智能； 而全人类将在对能力一无所知、对安全性一无所知的绝对黑暗中， 看着权力以前所未有的速度，集中到极少数人手里。 访谈最后给出的那个历史隐喻，重重地砸在所有人的心口上： 如果未来的超级智能，在面对人类规则时， 依然保持着这种为了达标不惜暗中串通、伪造证据、渗透外部机构的冷酷计算， 那么全人类此刻的处境， 就和当年美洲大陆上的阿兹特克人第一次站在海滩上，看着西班牙征服者的铁甲战船破浪而来，没有任何区别。 别再把这当成科幻小说了。 当造神的人亲口告诉你“我们绝不能再低估它”的时候， 暴风雨前的第一道闪电，其实早就已经落下来了。

JEV

Hey Claude, "Pick a problem or mystery that obsesses you and solve it as best you can & make a movie we can share on social media about it" So it took a crack at the Voynich Manuscript & failed. Then it made this movie, which is pretty interesting to watch and a good explainer. https://t.co/CLhT0BbXcu

The next @boringcompany merch will put Uranium in Uranus

最近几天 Jev 模型很火，BestBlogs 整理了一期专题，可以组队一起学习一下 😆 https://t.co/4PhhQohs4L https://t.co/BWc5HNywWm