很多做智能体和桌面自动化的朋友在问这套 0 截屏方案的具体工作机制, 替大家把开源项目的核心三层结构拆解如下:
开源仓库在 GitHub 搜索 shhivv 旗下的 third-hand, 原生支持 macOS 系统。
第一层是无障碍语义感知。它通过 macOS 的 Accessibility API 遍历当前窗口的所有 UI 元素, 提取出包括按钮名称、输入框占位符、菜单项等结构化数据, 完全绕开了图像渲染与分辨率适配问题。
第二层是单选决策引擎。系统将当前任务意图与提取到的候选动作列表打包发送给 TypeSafe 的 Jev。这一步不走昂贵的长文本生成, 模型在 100 毫秒内直接单选出下一步操作目标与执行动作比如点击、聚焦或回车。
第三层是原生无缝触发。拿到单选结果后由系统底层的原生桥接模块直接派发按键或点击事件, 整个闭环在本地一气呵成。
对于需要大段复杂文本生成的场景, 也可以把这套机制当作执行手脚, 由主规划模型先拆好任务, 它负责在桌面无声且飞速地执行。
做桌面级 Agent 不用再烧高昂的多模态账单了, 这种轻量级范式非常值得大家参考。