跳到正文
@AYi_AInotes· @AYi_AInotes · X·· 17 天前AI 评分42
AI 导读

Akshay Pachaar 发布技术长文解析 Jev:一个不能生成长文本、专做单类型决策的模型,输入百万 Token 仅四分钱、输出免费,官方测算延迟压进几十毫秒,成本最高砍去 400 倍。它只在格式上 100% 免疫幻觉,仍可能在合法选项中选错,但会输出精确校准的置信度分布,供开发者按高/中/低置信度分别自动放行、唤醒大模型复核或移交人工。在智能体中可充当路由器、执行闸门与质检员三种卡位。

正文

这篇应该是这几天全网把 Jev 讲得最透彻、认知穿透力最强的一篇技术图解长文了,墙裂推荐!!
过去三年我们几乎把生成式大模型当成了手里的万能锤子, 哪怕面对一个最简单的单选判断, 也要硬生生调一次几毛钱的通用大模型。

技术大牛 @akshay_pachaar 刚发出的这篇长文直接扯掉了这层遮羞布: 一个连一句完整对话都说不出来、甚至不会写一行代码的模型, 为什么刚上线就把全网架构师看燃了? 因为不能生成长文本, 恰恰是它最可怕的工程杀手锏。

绝大多数企业软件从来不需要另一个陪人闲聊的聊天框。

一个复杂的智能体在后台跑起来, 往往需要做成千上万次细碎的边界判断: 这张工单紧急吗、该挑哪个模型处理、这条命令有没有危险。

传统大模型的致命死穴是自回归生成。

哪怕最终答案只有一个单词, 它也必须在云端一个字一个字往外吐 Token, 遇到 JSON 格式错误还要重试。

调专做强类型决策的 Jev 之后, 所有的判断逻辑全部变成了一组确定的输入状态与候选问题, 输入百万 Token 仅四分钱且输出完全免单, 官方测算下延迟直接压进几十毫秒, 成本最高被砍去了 400 倍。

更耐人寻味的是它对幻觉的重新定义。

很多人鼓吹它彻底消灭了幻觉, Akshay 极为冷峻地指出了真相: 它只是在格式上百分之百免疫幻觉, 绝不可能吐出未定义的选项或者破损的文本, 但它依然可能在合法选项里选出错误答案。

这正是这套架构最值钱的地方: 它不仅交出单选结果, 还给出一整套精确校准的置信度分布。

开发者在代码里终于能写出极度理性的防线: 高置信度直接自动放行, 中置信度唤醒大模型二次复核, 低置信度无缝移交人工。

它在智能体里最绝的三个卡位, 彻底把大小脑分工跑通了: 最上游充当路由器, 替请求分流最便宜的模型; 中游充当执行闸门, 在执行高危终端命令前一秒完成风控拦截; 下游充当质检员, 监督复杂任务到底有没有真正跑通。

以前是软件迁就大模型的自回归废话, 从今天起是大模型适配工业软件的确定性分支。

如果要在你手头的系统里加一层百毫秒的语义决策, 你最想先用它替换掉哪次昂贵的大模型调用?

我先说,那些为了判断用户意图动不动就要等三秒的慢路由, 早就该换成这种纯粹的语义开关了。
三种原生决策原语的调用代码与七步安全落地法则, 我整理好放评论区了

来源:@AYi_AInotes · x.com