实测豆包工作录制生成技能：配合 iPhone 镜像打通电脑和手机 App

原创 尹John 2026-10-29 12:00 北京

开发票、查医保、订车位、点外卖全都可以

我一直很想把各个 App 之间的信息孤岛给打通。发票要去好几个地方找，医保、公积金要钻进小程序里查，停车、点奶茶又各是一个 App……

而一度爆火的 personal agent 们也开始撞墙了。

上个月，Amazon 开始把 Meta 的个人助理 Muse 拒之了门外，用户再让 Muse 去 Amazon 买东西，会弹出来一句「未经授权的代理访问违反服务条款」。

甚至银行、酒店、在线文档这些服务，都开始拦截 Grok Bot、Meta Muse 这类 AI 助理们的访问了。

由此可见，信息孤岛不只是国内严重。

我原本还想，这或许会是 AGI 面临的最大难题之一。

但我又想，问题其实也不大。因为应用还是运行在系统里面，可以直接从 OS 层面，比如 macOS 或者 iOS 的层面来下手。

也就是说，Computer Use 其实非常重要。

而豆包工作这次新上的「录制操作生成技能」，正是让 Computer Use 在具体的场景上做得更好。

试想如果你来了个实习生，你当然可以告诉他做什么什么事，但对于一些可能比较难的事儿呢，还是会把他叫到面前来，给他当面讲解一遍，他的学习能力会更快更好。

录制生成技能，也是出于这个考虑。

你在电脑上做一遍，边做边讲，豆包就把它整理成一个技能，下次一句话就能复用。它可以让 AI 除了更通用，也可以在定制学习后更专用。

于是我索性就用豆包工作最新的 Computer Use 和录制功能试了一圈，不光电脑上的 App，甚至连手机里的 App 也全部一起打通了，成了一个超超级助手。

整理发票

01

先用一个人人都得干的体力活，在电脑上试试水。

我在一大堆 AI 上都开了会员，比如国内的豆包和国外的 Claude 这两。而这两家的发票，就散在三个地方：豆包客户端的发票管理、163 邮箱、claude.ai 的账单页。拿到发票之后，我们可能还要登记进到某个文档或某个「发票.xlsx」里。

我把这套流程大体录了一遍，先是豆包自己的发票页：

然后我还顺手录了下 Claude 的账单页。

结束录制后，豆包把它整理成了一个叫 invoice-collection 的技能，接收邮箱、台账路径、默认类型这些我只演示过一次的东西，也被记成了默认值。

使用的时候，只需要说：

帮我收集发票

它便能自己把三个地方走上一遍收集好发票，并且……屏幕顶部还挂着「豆包工作正在操作豆包工作」。

对自己都能下手，真的非常狠！

而 Codex 和 Claude 的 Computer Use 是否能自己搞自己？你可以试试

到了登记这一步，它还做了一个我没教过的动作。

台账当前日期为简化值（9/1、10/1），需要更新为发票实际开票日期。

我录制时日期只填了个 9/1、10/1……它不但有改，还先把原表备份了一份。

最后交上来的结果，连豆包那张 919 元拆开是「不含税 866.98 元 + 税 52.02 元」、Claude 那张含了 99.98 美元的抵扣，都核对了出来。

Claude 的 100.02 美元那一张，其实是我把另一个账号的 Max 从 5x 升到 20x 时补的差价（省钱小技巧：5x 用满后再升），同一天还有一张 5x 的 100 美元，我录制时没登记。

于是我又跟它说了一句：

claude 还有一张，下载登记

没说是哪一张，也没说多少钱。

它找到了那张 100 美元的发票，写进了台账第 4 行，还顺带提了一句，这张和之前登记的 20x 发票是同一天开具的。

视频打码

02

上面这些录屏，我其实是不愿意直接放出来的。因为 Claude 的账单上有地址，豆包的发票详情里有抬头和税号，最好得打个码。

打码我用的是 ScreenFlow，同样录一遍教给豆包。在要打码的地方框一下，模糊调到最大，再把时间轴对齐敏感信息出现和消失的那几秒。

生成的技能叫 screenflow-blur-censor，我调过的那几个参数被固定进了技能里，流程则整理成了定位时间范围、添加打码效果、调整时间轴、多段处理、验证这五步。

然后我把打码交给了豆包。

它打开的工程叫 doubao-invoice-claude，正是上一个 case 里那段豆包自己收发票的录屏。

上一个 case 里你看到的豆包实操录屏，有一部分码其实是它自己给自己打的。

iPhone 镜像

03

总之，电脑上的各种 App、浏览器之类的，基本都不在话下。

但我其实更关心的是手机，因为还是有很多东西，是只在手机里的 App 里才有的。

好在 Mac 上自带一个 iPhone 镜像，能把手机的屏幕整个搬到电脑上来操作。

如果你还不知道这个东西，那记得去试一下。它是 macOS 15 之后系统自带的一个 App，iPhone 升到 iOS 18 以上、和 Mac 登同一个 Apple 账号就能用。手机锁着屏放在一边，在电脑上照样能点开里面的各种 App，连通知也会同步过来。

豆包操作这个镜像窗口，就等于是在操作我的手机。

其实不需要有豆包手机，就可以有豆包手机了。

京通

04

大胆如我，先来操刀一下北京的京通小程序。它很强大，什么都能查，所以也很难用……在

我拿查医保演示了一遍，在微信里打字搜「京通」，点进小程序，再一路点到医保。

录完生成的技能叫 jingtong-medical-insurance，里面还专门写了一句「不固化具体点击坐标，以页面实际显示为准」。

然后我问它：

看下今年我的医保每个月都缴纳了吗

它打开微信搜索，看到搜索记录里已经有「京通」了，便直接点了进去，不用再搜了。

进到缴费记录之后，它也没有每个月都点开看，而是先查了 1 月和 9 月，再抽查了 7 月和 6 月。

至于为什么偏偏挑 6 月，是因为它还知道，6 月是基数调整前的最后一个月。

结论是 1-9 月连续缴纳、没有断缴，10 月还没到账属于正常情况，建议 11 月初再确认一下，最后还主动问我要不要设个定时提醒。

我接着又问了它一个能力范围之外的、没教过它的问题：

再查下我的公积金贷款还有多少没还

公积金这个入口，我可从来没教过它，它是自己找的。

当然，京通这个小程序……豆包也被忽悠了，尝试了第二次才找到。但已经比人优秀很多了，换做是我，不知道要点多少次。

结果是还剩 34,194.98 元本金没还，月供 2215 元，它还顺手画了一条剩余本金的曲线。

有房贷，所以还在肩上的任务还很重啊……

（之前曲线突然跌下来，是好不容易攒了一笔钱，赶快还了，就怕哪一天失业了，还不起了）

机场停车

05

再来看个帮我订停车位的操作。

我出差经常会订往返的机场附近的一个停车场，因为穷人我很需要这样又近又便宜，且可以自驾往返机场的方式。

于是我把在微信「小强停车」小程序里下单的流程也录了一遍。生成的技能记下了我常去的几个停车场和参考价，也规定了每次都要现查实时价格，以及支付前必须让我核对，不能替我付钱。

之后，我只需要告诉它：

帮我订一下 11 月 2 号首都 T3 机场 10 点的航班出发，4 号下午 6 点返回的停车场

它先读了技能，把我这句口语整理成了「11 月 2 日航班 10 点从 T3 起飞、11 月 4 日下午 6 点返回取车」。

然后打开小程序，进到停车场，点预约。

车牌是我之前因为订过，所以它默认就用了之前的。

日历里，它翻到 11 月，选了 2 日停车、4 日取车。

停车时间，它定在了 08:00。

我只说了航班 10 点，提前 2 小时到停车场，是它自己推断出来的。

其实我自己一般都玩刺激，我都提前一小时到的，因为停车场走到机场也就十分钟以内，那我一般都掐这个点儿……当然它这个两小时也非常合理，豆包也真是非常的懂北京的交通。

最后，它自己点掉了接驳班车的提醒和条款弹窗，走到了支付页。3 天 90 元，比 T3 官方停车楼的约 225 元，省了 135 元。

付钱的这种动作，它还是自己识别得很好，没有擅自替我把钱付了。

而整个过程，我告诉它指令后，它自己处理就好了，然后我的手机也是锁屏，电脑它自己在处理，我也不用关心它咋样了。中间其实有几次在等我回答，我一直没有注意，所以等了我好久，耽搁了它一些时间……

点个喝的

06

最后，我们来点个喝的。这里我用的是支付宝闪购。

录制时我打开的是喜茶，并在点「热芋泥波波牛乳茶」时一项项选规格，边选边说了一些口味偏好，少芋头泥、去云顶。

录完之后，豆包整理出了一张「已固化的你的默认偏好」，我嘴上说的那些，连「你不喜欢云顶」都被记了进去。

然后测试技能时，我故意换了一家非喜茶的店，看看它能不能根据我的口味偏好，选择类似的：

点个茶百道

它先检查了一下 iPhone 镜像有没有开，发现没开，便自己把它启动了。

换了家店，菜单也全不一样了。它在左侧分类里找到了「超厚芋泥」，说这个「与你平时的芋泥偏好最匹配」，再从里面挑出最接近的那一款。

到了规格弹窗，它按「少甜」的偏好，选了 3 分糖。

还挺关心我的健康呢。同样的，最后付钱这一步，还是需要我自己来确认。

我其实好久没喝奶茶了，因为豆包，破例喝了一杯……

更多玩法

07

解锁 iPhone 镜像的玩法后，可玩的东西就很多了。

除了微信，可以到各家 App 点外卖、点咖啡都可以，甚至可以拼价格看红包，包括值机选座、抢火车票也都可以了，甚至闲鱼店铺的运营当客服赚点小钱啥的……

我就不替你们开脑洞了，给大家留点想象空间。

不过回到电脑上，我自己倒是很想让豆包来当 Claude Code 的监工。

Claude Code 有时候它老是来问我问题，我又不想一直挂着心去看它是不是又在等我回复。

所以交给豆包来操作就好，这样既不会污染 Claude Code 的 context，然后也能替我做一个值守，且需要的话，还可以给我的飞书发消息来问我。

而豆包这次还支持了 Mac 锁屏工作。人离开电脑、Mac 锁了屏，它照样能接着干活，还能从手机上给这台锁着屏的 Mac 下任务。

唯一的遗憾

08

唯一的遗憾，就是速度还没有那么快。

因为走的是镜像，它主要还是靠截图来识别画面、再决定点哪里，一步一步来，快不起来。

但好在豆包的 Seed 模型多模态能力还是非常强的，小程序里那些密密麻麻的小字和弹窗，基本都认得准（字节的模型在多模态能力上，还是非常能打）。

而这几个技能，我其实都只录了一遍，边做边讲了几句。像点奶茶，我教的时候是喜茶，后来换成茶百道，它挑的也还是芋泥、少甜。

如果你也想要这么一个超级助手，那现在打开豆包工作，便可以拥有了！

◇ ◆ ◇

跳转微信打开