同一个模型只换外面那层 harness，任务完成率能差多少？IBM 昨天给了个数：30% 到 81%。

都用 GLM-5.3-flash，跑 90 个 AppWorld 任务，每个只给一次机会：CUGA 81.1%，Hermes 46.7%，LangChain 的 Deep Agents 30.0%。

我先说保留意见。这是 IBM 自己跑的，CUGA 是它家的，还用了针对 AppWorld 的配置，90 个任务本身也不算多。所以别当成排行榜看，但是可以窥到harness 影响有多大的一个量级。

那么分差从哪来？IBM 列了几个点：
先把任务拆开；不把 469 个工具全丢给模型，先筛一小撮相关的；让模型写 Python 一次调多个接口；改数据前先校验；出错自动反思；翻页接口检查有没有漏页。

这些，全是咱们日常用的工程活，没有一项是换模型。

巧的是 LangChain 同一天也发了一篇。同一个 Claude Sonnet 5.5，换 7 套浏览器工具跑 100 个 WebVoyager 任务，完成率都在 78% 到 90%。
成本差得有点离谱了，Stagehand 90%，一共花 1.98 美元；Playwright MCP 78%，花了 26.71 美元，差 13 倍，时间也多 3 倍。

我几个月前吐槽过 codex 这层对 gpt5.6 的适配不如 5.5，什么马配什么鞍。这两篇算是把这句话量化了。

所以挑 Agent 框架，我有几个筛选条件：
1. 工具是一股脑全给，还是先筛
2. 能不能写代码一次调多个接口，省得一步一个工具
3. 键限制写在 prompt 里，还是运行时硬拦。IBM 演示里让 Agent 把欠的钱都付了，没规则的版本付了 90 美元，连被拒的账单也付了；有审批的版本先停下来，只付了 10 美元
4. 工具返回有多长
5. 同一任务跑 3 次稳不稳

原文可以看看评论区，挺有意思的两篇内容