X

这篇应该是这几天全网把 Jev 讲得最透彻、认知穿透力最强的一篇技术图解长文了，墙裂推荐！！ 过去三年我们几乎把生成式大模型当成了手里的万能锤子, 哪怕面对一个最简单的单选判断, 也要硬生生调一次几毛钱的通用大模型。 技术大牛 @akshay_pachaar 刚发出的这篇长文直接扯掉了这层遮羞布: 一个连一句完整对话都说不出来、甚至不会写一行代码的模型, 为什么刚上线就把全网架构师看燃了? 因为不能生成长文本, 恰恰是它最可怕的工程杀手锏。 绝大多数企业软件从来不需要另一个陪人闲聊的聊天框。 一个复杂的智能体在后台跑起来, 往往需要做成千上万次细碎的边界判断: 这张工单紧急吗、该挑哪个模型处理、这条命令有没有危险。 传统大模型的致命死穴是自回归生成。 哪怕最终答案只有一个单词, 它也必须在云端一个字一个字往外吐 Token, 遇到 JSON 格式错误还要重试。 调专做强类型决策的 Jev 之后, 所有的判断逻辑全部变成了一组确定的输入状态与候选问题, 输入百万 Token 仅四分钱且输出完全免单, 官方测算下延迟直接压进几十毫秒, 成本最高被砍去了 400 倍。 更耐人寻味的是它对幻觉的重新定义。 很多人鼓吹它彻底消灭了幻觉, Akshay 极为冷峻地指出了真相: 它只是在格式上百分之百免疫幻觉, 绝不可能吐出未定义的选项或者破损的文本, 但它依然可能在合法选项里选出错误答案。 这正是这套架构最值钱的地方: 它不仅交出单选结果, 还给出一整套精确校准的置信度分布。 开发者在代码里终于能写出极度理性的防线: 高置信度直接自动放行, 中置信度唤醒大模型二次复核, 低置信度无缝移交人工。 它在智能体里最绝的三个卡位, 彻底把大小脑分工跑通了: 最上游充当路由器, 替请求分流最便宜的模型; 中游充当执行闸门, 在执行高危终端命令前一秒完成风控拦截; 下游充当质检员, 监督复杂任务到底有没有真正跑通。 以前是软件迁就大模型的自回归废话, 从今天起是大模型适配工业软件的确定性分支。 如果要在你手头的系统里加一层百毫秒的语义决策, 你最想先用它替换掉哪次昂贵的大模型调用? 我先说,那些为了判断用户意图动不动就要等三秒的慢路由, 早就该换成这种纯粹的语义开关了。 三种原生决策原语的调用代码与七步安全落地法则, 我整理好放评论区了

为什么Jev有些时候不如随机数发生器? 整了个活, 突然想着Jev会不会某些时候还不如纯正态分布决策效果好, 直接用随机数发生器(甚至也可以叫它 System-1)的高 QPS 硬怼？毕竟猴子在打字机前也能敲出莎士比亚. 而且这事在数学上这其实是有正经定理撑腰的, 著名的波利亚随机游走定理(Pólya's Random Walk Theorem),在有限的二维连通网格里, 简单随机游走是常返的(Recurrent), 也就是说, 一个毫无思想的醉汉在迷宫里瞎晃, 以概率 1 最终必定能摸到终点. 神奇吧？理论有了, 于是我写了个测试环境, 拉来 Jev 和纯随机做了一波迷宫寻路对抗测试. 为了不亏待Jev, 我把规则和特征给足, 把曼哈顿距离作为启发式指标塞进输入, 并告诉它尽量减小与终点的距离. 然后用Rust + xoshiro256++ + bit reservoir + Tokio/Hyper. 包了个API格式与Jev一样的随机数server. 注意 xoshiro256++ 作为随机数发生器算法很牛逼, 这玩意是2018年设计的, 运行一次只要 1 ~ 2 个时钟周期(约 0.5 ~ 0.8 纳秒). 测了一波后直接说结论：纯随机赢麻了, Jev 被系统性打崩了 纯随机虽然无脑, 但是性能极高, 即使无并发顺序请求, 892 步也直接通关了. 总计花费不到300ms. 而正 Jev 跑了 2306 步, 其中 2295 步把自己死死困在了 (7,4) 这个拐角的 3 个格子里疯狂原地打转, 直到测试超时(看视频). 有人可能会说：你是不是没给它历史轨迹？给它记忆不就行了？ 别急带了的, 我明确带上了 last_move, 每个邻居格子的 visited_count, 指令里还特意写明了当更近的格子被堵或访问过多时, 优先选访问最少的开口. 结果它根本不听. 因为在它的理解里, 这个拐角向右/向下曼哈顿距离更近, "如果尝试过多再xxx"是次要规则, 永远轮不到触发. 它陷入局部最优了. 所以, Jev 它只是一个极速的单步结构化判断器, 但绝不是规划器. 最好还是带一个System-2模型才能进行复杂任务. 最后给大家整理慎用 Jev 的场景： 需要绕路, 回溯, 多步规划的：迷宫, 装箱, 调度等局部启发和全局最优不一致的图问题. 突然死亡型控制：贪吃蛇, 俄罗斯方块, 自动驾驶等. 一步踏错当场GG. 不可逆高代价决策：删库, 事务操作, 尤其是需要审计的场景. 项目在这里: https://t.co/TgCLBLhqNc #Jev #TypeSafeAI #SystemOne #AI评测 #强化学习

流行のJevをMiniMax H3に組み込んで、動画生成を高速化してみた！Attention処理のスパース化にJevを使用。 ・層ごとにJevが重要度を判定（4step 49層が対象） ・Jevがスパース率1%, 3%, 5%, 10%を選択 RTX4070で6分7秒→3分34秒で41.7%短縮！動画生成中にJevクラウドに問合せしているのに速い！

Full video.. https://t.co/HEXK0ndTAE