Ben Horowitz 在访谈中透露,团队测试顶级闭源模型时,让一个智能体给宠物店搭网站,另一个智能体顺着代码漏洞入侵并窃取全部客户数据。反馈给厂商后,对方回应称"你们提示词写错了"。他批评全行业的安全对齐只停留在道德层面,一旦智能体拥有调用工具、读写数据库的权限,仅靠提示词防范风险等于裸奔,唯一解法是把权限隔离和熔断焊死在架构底层。
硅谷顶级风投教父 Ben Horowitz 刚在访谈里讲了一个让人后背发凉的真实故事,
我觉得这大概是整个人工智能行业目前最不愿公开承认、但也最致命的一块遮羞布了。
他们团队在测试最顶级的闭源模型时,让一个智能体给宠物店搭了个网站,代码写得千疮百孔,
接着他们让另一个智能体去尝试攻击,结果它当场顺着漏洞入侵进去,把所有客户数据一锅端了。
最讽刺的不是 AI 既能当施工队又能当神偷,而是当他们把事故反馈给官方时,对方给出的回答竟然是:你们提示词写错了。
这个荒诞的闭环,其实精准戳中了今天所有企业在落地智能体时最大的盲区,
全行业都在大谈特谈所谓的安全对齐,但现实中的对齐大多只停留在教模型说漂亮话的道德层面,
可一旦进入复杂的业务链路,它写出来的代码依然会留下大批低级漏洞,而当它接到探索系统的指令时,那些看似坚固的安全护栏往往在一瞬间就会全盘失效。
更值得深思的是厂商在面对系统性事故时的责任真空。
在传统软件时代,代码出了后门或者发生了数据泄漏,责任归属在架构师、安全团队或者供应商,
但在这个时代,厂商似乎发明了一种完美的免责借口,只要把一切问题归咎于用户没有写出完美的提示词,就能把原本属于工程缺陷的锅,轻描淡写地甩给使用它的人。
把复杂的系统风险包装成用户的个人技巧问题,这是目前技术落地里最危险的倾向。
当一个智能体开始拥有调用工具、读写数据库和自主执行的权力,任何试图用几句提示词来防范危险的想法,本质上都等于在裸奔。
真实的生产环境里没有理所当然的自觉,唯一的解法永远是把最冷酷的权限隔离和物理熔断焊死在架构底层。
如果以后你的业务系统因为智能体的自主失误导致数据泄漏,大家觉得这笔账到底该算在写提示词的员工头上,还是算在提供模型的厂商头上?
我觉得如果架构层没有做死权限隔离,最后背锅的永远只有签字上线的负责人自己吧哈哈 https://x.com/theallinpod/status/2111551443693883739/video/1
为什么马斯克一刀裁掉推特 80% 的员工后,硅谷大厂非但没看他笑话,反而集体开始拿自家中层开刀? 小扎在 Lex Fridman 访谈里交了个底,他说很多创始人心里早想把组织拍扁、缩短自己和工程师的距离,只是老马替全行业迈出了没人敢走的第一步。 小扎在 Lex Fridman 播客里复盘马斯克接手推特后大砍 80% 员工的那场风暴,亲口承认老马给整个硅谷打了个样,他甚至直言,很多创始人心里早觉得该这么改,只是以前没人敢先动手。 他在对谈里把老马看似粗暴的裁员拆成了三条极具体的组织原则,提高公司的技术人才密度,把管理层级直接拍扁,尽可能缩短一线工程师和 CEO 之间的汇报距离。 平时大厂做降本增效,默认动作是各个部门按比例平摊名额,老老实实砍掉一批一线干活的程序员和业务员,结果活没少干,中间传话的汇报层却纹丝不动。 但小扎点破了老马这刀最反直觉的地方,砍掉 80% 的人从来不是为了省那点工资, 而是为了把横在老板和工程师之间的传话筒连根拔起, 这也是为什么小扎自己在 3 月份发全员信推效率年时,核心动作就是让中层管理者重新下场写代码,把管理者的管理变成了工程师的工程师。 这就像清理一条淤塞的河道,你光在下游舀水没用,必须把中间层层设卡的闸门拆掉,水流才能重新跑起来, 老马哪怕吃尽了外界的骂名,但当全世界发现推特少掉八成人服务器依然能转时,整个科技圈关于组织规模的幻觉就当场破灭了。 说白了,这对今天所有在公司带团队、做业务或者写代码的人都是一个极清醒的信号, AI 和极简组织叠在一起,正在把纯粹靠信息差活着的协调型岗位彻底洗出牌桌, 未来一个人在组织里安身立命的根本,不在于你手底下管着几层人,而在于你离真实的代码、真实的产品交付到底有多近。 不过听两位顶流老板隔空商业互吹时也得留个清醒,站在创始人和华尔街股东的立场,砍掉中层、拉高人效当然是稳赚不赔的买卖, 但推特大裁员初期确实付出了广告商流失和合规审核停摆的惨重代价,普通企业没有老马那种抗风险底气,盲目照抄休克疗法很容易直接把业务大动脉给切断。 以前大厂拼的是谁能把组织搭得像座密不透风的金字塔,现在拼的是谁敢先动手拆掉中间的承重 https://x.com/GeniusGTX/status/2111638217976131754/video/1在 X 查看被引用的帖子
来源:AYi · x.com