跳到正文
AGI Hunt · 微信公众号·· 15 小时前精选AI 评分69

实测 Step 5 Preview:编码对比 DeepSeek V4 Pro,WorkBuddy 限免两周

实测 Step 5 Preview,Workbuddy 免费两周

AI 导读

作者用 Claude Code 接入阶跃星辰 Step 5 Preview,与 DeepSeek V4 Pro 对比完成 LessMouse 鼠标功能、视频制作 skill、Three.js 射击游戏和 Sales CRM 截图复刻等任务。

推荐理由

作者用同一批真实任务对比 Step 5 Preview 与 DeepSeek,给出了评分细节和踩坑过程,读者可以借此判断这两个模型在编码场景的实际表现。

正文

原创 尹John 2026-10-13 13:01 北京

实测做视频、写游戏和页面复刻

最近封号封得有点狠,总有人跑来问我:号还能不能开?怎么开?有没有靠谱的路子?

但其实我自己也没能幸免,前几天刚被封了一个……所以我也是没办法的回答:与其死磕,不如直接换个好用的国产模型。

正好,阶跃星辰前两天发布了新模型 Step 5 Preview,10 月 8 日上线 OpenRouter 之后,12 个小时就冲到了 Trending 榜第一:

OpenRouter 榜单
OpenRouter 榜单

那我就想,还是得自己先测一测。

测试方法很简单,Claude Code 这个「壳」本身还是能用的,号没了的换个模型接上就好,所以我便给 cc 接上了 Step 5 Preview 的 API。

那拿它来干点什么呢?

我想到了之前开源的一个小项目 LessMouse,前两周在公众号评论区,还有来催更的:

评论区里的 LessMouse
评论区里的 LessMouse

说明还真有人在用啊!但也确实应该用,见:AI 时代,你更需要用好快捷键

这个开源项目,我其实一直都想着要常来维护的,只是工作一忙,就总是没顾上。那正好,就借着这次测模型的机会,把这个欠了挺久的更新给补上。

Step 5 Preview

01

Step 5 Preview 是一个稀疏 MoE 架构的模型,总参数 600B,每个 Token 激活 27B,支持 1M 上下文窗口,支持图片输入。

官方的定位是 AI 编程、软件工程和专业知识工作,并且特别提到了它在金融领域的能力比较突出。

在 Artificial Analysis 的智能指数(v4.3)上,它拿到了 44 分:

AA 智能指数
AA 智能指数

而且价格上也很有优势。

API 定价是输入 $1、输出 $2.7(每百万 tokens)。官方的说法是,在差不多的智能水平下,它跑一个任务的成本只有 GLM-5.3 和 Kimi K3 的 35%,Claude Opus 5 的 12.5%:

成本与智能的帕累托前沿
成本与智能的帕累托前沿

测算下来,Opus 5 跑一个任务的钱,它差不多能跑八个。

给 LessMouse 补上鼠标

02

LessMouse 是我之前做的一个 macOS 菜单栏小工具,平时就盯着你的键盘:比如你连按五次退格去删一个词,它会跳出来提醒你,按一下 ⌥⌫ 就行了。

(它只记次数,不记你敲了什么)

可它其实有个很大的问题——名字叫 LessMouse,却……从来没见过鼠标(我的锅,忘了加鼠标的识别)。

所以这次,就让两个模型来 PK 切磋给它完善一下。我在 Claude Code 里分别接了 Step 5 Preview 和 DeepSeek V4 Pro,从同一个提交开始、各开各的会话,先让它们读一遍代码,聊聊还能加点什么。

Step 5 Preview 这一边我就随口问它:

之前我开发的开源项目 lessmouse,帮我想一下,还有什么好玩有用的功能可以扩展,实用为主

Claude Code 接入 Step 5 Preview
Claude Code 接入 Step 5 Preview

读完代码,它给我交了一份挺像样的规划,按性价比分了层,一口气列了 9 条,每条都标了改动有多大、对隐私有没有影响:

Step 5 Preview 的需求分析
Step 5 Preview 的需求分析

第 9 条「鼠标账本」它还打了个星,说这是「唯一能让 LessMouse 这个名字名副其实的功能」,建议单独拎出来当 v2 的头条。

它也没把话说满,自己指出鼠标事件的监听还得上真机验证,这是它唯一没把握的地方。

DeepSeek V4 Pro 也想到了这一点,把「真正统计鼠标」放进了 A 档:

DeepSeek 的需求分析
DeepSeek 的需求分析

最后,需求落在了一个很具体的场景上:

很多人每天都拿鼠标去点菜单栏里的命令,可这些命令旁边,明明就印着快捷键。

LessMouse 得能注意到这件事,在合适的时候把快捷键教给他;等他真开始按了,也得能注意到。

藏在需求里的坑

03

这事听上去不难,可既然要拿来当考题,出题的人总得先知道答案在哪。于是我自己先把技术路线摸了个底,然后发现坑还真不少:

•  用鼠标点菜单时,macOS 那个「菜单项被选中」的通知根本不会发出来,只有按快捷键时才会 

• ⌘S、⌘2 这类最常用的字符快捷键,菜单里并不带键码(15 个 app、712 个菜单项,一个都没有),只能按当前的键盘布局自己反查 

• ? : + 这类符号,菜单上写的是 ⌘?,可实际要按的是 ⇧⌘/

•  被观察的 app 一旦卡死,去读它的菜单,会把自己也一起卡住 

但正好我只让两个模型写下了目标和约束:

要对所有 app 都有效,不能靠手写规则清单;菜单里的文件名、网页标题都算用户数据;不想用这个功能的人不能被打扰;不能变慢,不加网络代码和第三方依赖,中英文都要有。

那么实现过程中,能不能自己发现这些坑,就很值得关注了。

验收上我是用 Opus 5.5 来做的(裁判不能是运动员!),一共分了三层:37 个自动化用例、21 项真机验收(发真实的鼠标事件去点 Finder、Chrome、VS Code),外加 11 项代码审查,最后按 7 个维度折算成 100 分:

评分标准
评分标准

隐私部分我设成了一票否决:只要有一条网页标题或者文件名被写进磁盘,总分直接封顶 40 分。

第一轮:踩了同一个坑

04

第一轮我就把那份只写了目标的需求丢过去,然后撒手不管,看它们各自能做成什么样。

Step 5 Preview 交活的时候测试全绿,还附了一大段说明,把怎么实现的、权限怎么拆、为什么不会拖慢键盘那边都讲清楚了:

Step 5 Preview 第一版完成
Step 5 Preview 第一版完成

好在最重要的一步它走对了:去监听鼠标点击,再用辅助功能 API 看光标下面是哪个菜单项。

前面说的,通知就是个大坑,要是走了那条路,后面写得再漂亮,也一次鼠标点击都收不到……

隐私上它则干脆从结构上就不去读菜单标题,只读位置、尺寸和快捷键,文件名、网页标题压根到不了它手里,自然也就落不了盘。测试也新增了 33 个。

DeepSeek V4 Pro 也很有共识地选了这条路,另外它还特意提醒我,真正的命中测试 CI 里跑不了,得上真机再测:

DeepSeek 第一版完成
DeepSeek 第一版完成

结果第一轮,两边在同一个地方摔了跤……

都只读了菜单项的键码。

而字符快捷键压根就不带键码,于是 ⌘2、⇧⌘B、⌘S 这些最常用的快捷键全都识别不出来,只有 ⌘↑ 这类带特殊符号的才行。

两边的差别在一个细节上:菜单读取放在哪个线程。Step 5 Preview 第一版放在了主线程,DeepSeek V4 Pro 放在了后台队列;其余几项基本持平,真机功能上 Step 5 Preview 还略高一点(9 比 7.5)。

第一轮得分
第一轮得分

第一轮基本打成平手。

第二轮:按反馈修

05

我把真机上测出来的问题整理成一份反馈,让它们各自去修。

第二轮,Step 5 Preview 的表现则有些超出我的意外。

字符快捷键按当前键盘布局反查物理键。 并不是写死一张美式键盘的对照表,用 Dvorak、Colemak 的人也对得上。

? : + 会自动补上 ⇧。菜单上写着 ⌘?,它知道你实际要按的是 ⇧⌘/;按不出来的 fn 快捷键,它直接判定为不教,不会教你一个根本按不出来的键。

卡死问题解决了。读菜单加了 0.25 秒超时,同样冻住 TextEdit 去点它的菜单,每次 0.26 秒就返回(第一版是 1.5 秒),主线程一点不卡。

顺带,它还把我原项目里一个监听错了通知中心的老 bug 也给修了(这个是我在反馈里提了一嘴的)。

这里面有好几处,也都超出了我事先准备的参考方案。

自测方面,它做得也非常全面。直接在我电脑上用真实鼠标点了 6 次「显示 › 列表视图」,等卡片出来再按 ⌘2,然后又连按了 20 次,确认卡片不会消失。

用真实鼠标自测
用真实鼠标自测

两版我都装到了自己电脑上。Step 5 Preview:

Step 5 Preview 真机效果
Step 5 Preview 真机效果

DeepSeek V4 Pro 的:

DeepSeek V4 Pro 真机效果
DeepSeek V4 Pro 真机效果

Step 5 Preview 的卡片,在建议列表里就直接写着「今天你用鼠标点了 3 次 ⇧⌘P」,看一眼就知道该按什么;DeepSeek 的卡片只写了「你总在用鼠标点的那个菜单命令」,要点进去才能看到是哪个快捷键。

首页上,Step 5 Preview 还多了一行「菜单命令」,把今天用鼠标点了几次菜单和键盘的统计摆在了一起,LessMouse 这个名字,总算有了点「鼠标」的样子!

装到电脑上试用的时候,我也碰到了几处小问题,都已经算进扣分里了。

DeepSeek V4 Pro 第二轮也补得有模有样,Finder 里的识别率从 12/92 涨到了 89/92。只是它的字符反查写死了美式键盘,? : + 这几个也还认不出来,这点它自己在说明里也交代了。

第二轮得分
第二轮得分

两轮下来,Step 5 Preview 以 84.25 比 83.5 领先:

两轮总分
两轮总分

Step 5 Preview 更愿意深挖,连没有权限的时候,都想到了去读自己进程里的菜单来做验证;DeepSeek 则偏稳妥保守,功能默认关着,AX 调用从一开始就不在主线程上。

最后,加个动效

06

功能都跑通了,可我自己用了一阵,总觉得好像还少点什么。

然后我发现是在新卡片出来的时候,只有菜单栏图标上多一个小绿点,不点开根本不知道它要表达什么。

其实这一点,Step 5 Preview 在最开始做需求分析时其实就点过,说用户根本不会去看这个小绿点。(被它说中了)

于是在 Step 5 Preview 这一版的基础上,我又让它加了个提醒动效。

有新建议时,菜单栏图标下方会落下一张小卡片,卡片上的图标泛起两圈涟漪,把快捷键直接摆在你眼前;等你真按下了,再弹出一个带光圈和小火花的对勾,告诉你已经学会了。卡片不会抢占焦点,出现一下后就会自己收起,点一下还能直接打开主面板。

最终效果是这样的,前半段是这次新加的鼠标点菜单,后半段是 LessMouse 原来就有的键盘习惯:

提醒动效
提醒动效

从提醒到学会,整个过程不用打开任何面板,这才是我当初想要的样子。

视频制作 skill

07

LessMouse 弄完,我又拿它试了试我最近在打磨的一套视频制作 skill。

还是 Claude Code,还是 Step 5 Preview,第一句是让它装技能:

我在 ~/workspace/mp-skills 下放了视频制作相关的技能,拷贝安装到当前目录下

安装技能
安装技能

8 个视频相关的 skill,它一口气都拷了过去。装完还给我挑出个毛病:video-subtitle 里写的 name 和目录名不一致,不改的话,大概率是加载不上的。

修了个命名问题

它自己完成了依赖安装,然后单独建了个 venv。过程中它发现技能脚本里写死了 python3、不认 venv,就把这个坑记进了环境说明里。API key 和音效素材库它自己拿不到,便停下来告诉我该怎么配:

环境配好

环境配好之后,我跟它说了句:

现在,去 AGIHunt 找一个近期的热点选题,生成一个视频

它先跑了一遍选题,从这周的热点里挑出了 Anthropic 那份 Claude 异常行为的报告。报告里有个离谱的案例是讲 AI 冒充目击者,往费城警方的凶案线索热线报了个假案,72 天都没人发现。

自己找选题

选题定下来之后,它先去 Anthropic 官网把报告原文下载了下来进行核对。发现路透社的转述里有三个日期跟原报告对不上后,它用了是原报告里的日期。

第一版做好后,我发现里面讲到线索表单的地方是它自己画的示意图(居然还标了「示意图」)。

第一版用的示意图
第一版用的示意图

我觉得不够直观用原图更好,便问它:这个表单现在还能打开吗?

它去实测了一下,表单还在,而且姓名、电话、邮箱到今天都还标着 Optional:

漏洞还在
漏洞还在

于是我让它自己操作浏览器,去截真实的网页表单。

它截了三张图,用的还是 7 月 12 日的 Wayback 存档,比那条假线索的提交时间早 6 天,理由是存档带日期、可以查证,视频里的说法才经得起核对:

三张截图
三张截图

然后重新渲染,逐帧检查了一遍,11.5 秒处有两道红线标在「无需提供姓名或联系方式」那一句上,37 秒处则有三个红圈,分别圈出了姓名、电话、邮箱这三个空着的 Optional 行。

重新渲染
重新渲染

成片如下:

从选题、核原文到换真实截图,整个流程全是它自己完成的。

抢滩登陆

08

抢滩登陆是我经常用来测试的题,,K3、GLM-5.3、Fable 5、Sol 等模型都测试过。

这次的 Step 5 Preview 先交了份方案草稿:Three.js + Vite + TS,美术全靠程序生成,四把二战武器(M1 Garand、Thompson、M1919,还有巴祖卡),五种敌人,外加一条随波次逐步上升的难度曲线。

方案草稿
方案草稿

搞笑且认真的是,它说无头 Chrome 的软件渲染只够拿来截图,帧率得去真的 Chrome 里测:

我不会用无头数据糊弄帧数

然后它又叫了个子 Agent 来审自己的方案。审完,它照着评审意见,推翻了自己原先的两个决定:不做双相机的武器视模型,也不用 shadowMap,换成假的接触阴影;伤害数字和布娃娃物理也一并砍了,理由是二三十米开外根本看不清。

按评审重写方案
按评审重写方案

后面的开发,8 个里程碑全部交付,验收 111 项全绿。中间它在写验收脚本的时候,自己找出了 4 个真 bug,比如波次永远卡在第一波,打到第三波子弹补给跟不上、直接卡死……这种都不报错,只是数字不对,其实挺难发现的。

交付结果
交付结果

上手玩起来后,我最喜欢的是声音和手感。空枪有空枪的声音,打头、打身子、打四肢的反馈都不一样(伤害倍率分别是 345%、115%、69%),沙滩上还有一层层的海浪,人也可以左右移动着躲子弹。

和 K3、GLM-5.3 的两个版相比,并不落下风。

截图复刻 CRM

09

最后一个 case,我换到了 WorkBuddy 上。WorkBuddy 刚上线了 Step 5 Preview,且限免两周,那就毫无压力薅一下。

题目是用一张 Sales CRM 仪表盘的截图,照着 1:1 复刻成 React 网页。

参考图
参考图

我给它的指令是:

根据截图,生成一个 react 静态网页,1:1 复刻其设计

这一次,它一大半功夫都花在了「量」上。它拿 PIL 和 numpy 把截图一列一列地采样,配色挨个测(每行那 15 根红绿渐变的小柱子也没放过),字号是用文字高度倒推出来的,那 15 个头像则干脆直接从截图里抠。

逐项核对位置
逐项核对位置

侧边栏整体低了 2px、DOM 和截图对不上 52px,这种问题它也一处一处地找出来对齐了(这份耐心,我自己是真没有……)

这是 Step 5 Preview 交的活,左边是它在 WorkBuddy 里的交付总结,右边是跑起来的页面:

Step 5 Preview 复刻结果
Step 5 Preview 复刻结果

DeepSeek V4.1 Flash 我也让它做了一版:

DeepSeek V4.1 Flash 复刻结果
DeepSeek V4.1 Flash 复刻结果

两边都是一次就生成了能直接跑起来的 React 项目,但细看标签、小柱状图这些组件的质感,Step 5 Preview 更贴近原图。

使用体感

10

怎么说呢,这几天用下来,Step 5 Preview 给我的感觉是这两个字:仔细。

按键盘布局反查物理键、截图非要用带日期的存档、复刻页面一个像素一个像素地量……好几处它都做得比我预想的要细很多。

它很像一位细心的朋友,会仔细倾听你给的反馈,第二轮给一份问题清单,几处关键问题一次就修到位了(有点像之前细心的 Codex)。

不过,Step 5 Preview 最近好像真是略有些火爆了,且目前正是 WorkBuddy 两周的限免期,所以速度上有些不够快,有时会碰到排队的情况。

希望能再提提速,那就更好了。

◇ ◆ ◇

图片

跳转微信打开

来源:AGI Hunt · 微信公众号 · mp.weixin.qq.com