跳到正文
Hugging Face Daily Papers·· 1 天前AI 评分47

RoboTryOn:用虚拟试穿把人类视频合成灵巧机器人演示

RoboTryOn: Synthesizing Dexterous Robot Demonstrations from Human Videos via Virtual Try-On

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

RoboTryOn 将人到机器人的迁移视为虚拟试穿——保留演示动作,把人类换成参考图像指定的目标机器人,同时保留原任务、物体与背景。它自回归翻译关键帧并用手部骨架运动引导视频合成,再用带深度特征的逆动力学模型(IDM)推断动作标签。在多种人形本体上,仅用合成数据训练的策略在新任务(含双臂操作)上平均成功率从 2% 提升到 60%,且约三分之一采集成本即可达到纯遥操作演示的训练效果。

来源:Hugging Face Daily Papers · arxiv.org