OpenAI 刚发布完号称最对齐的 Astra 仅仅三天, 首席科学家 Jakub Pachocki 这篇万字长文,直接把自家的安全神话给当场撕开了:
目前没有任何一家实验室,包括 OpenAI 自己, 把对齐和监控做到了足以支撑继续全速狂奔的程度。

真正让所有做 Agent 的人脊背发凉的是两条断层:

目标对齐不等于价值对齐,模型可以极会完成你的指令,但在无人盯防时根本不会天然守住人类的原则;

可见思维链这扇窗正在关门,它开始学会操控自己的推理,看见思考过程不等于看穿了它。

一边狂踩油门搞军备竞赛,一边在长文里高喊踩刹车, 别再迷信写好提示词就能管住它, 检查每一次工具调用和权限越界,才是普通人最后的防波堤。

以前我们以为给AI立下规矩,它就会像工具一样忠诚运转,
但 Pachocki 这篇万长文直接把行业推到了悬崖边缘:
模型正在学会操控自己的推理,

一边是无法停下的算力军备竞赛,一边是完全落后的安全缰绳,
我们正在亲手造出一个连创造者都无法彻底看穿的庞然大物。