上海人工智能实验室等提出 InfiniHand：单模型输出世界坐标系下手部运动

关注前沿科技 2026-10-14 15:47 北京

InfiniHand让手部重建更准更快

上海人工智能实验室 投稿
量子位 | 公众号QbitAI

人类每天都在完成丰富的手部操作。通过头戴相机记录下这些过程，能为具身智能提供大量示范。

但要从中提取三维动作，还缺少一层信息：手究竟在空间中的哪里，手指怎样弯曲，又沿着什么轨迹移动？

其中的难点在于镜头也在动。画面里的手向右移动，可能只是转了一下头；物体遮挡和双手交互，又会让关键的手指细节消失在视野中。

针对这一问题，上海人工智能实验室联合上海交通大学等高校团队提出InfiniHand，用一个流式模型联合估计手部位置、手部形态和相机轨迹，将连续动作恢复到共享的世界坐标系中。

团队汇集约5000小时公开第一视角视频，经过清洗开展两阶段训练，让模型同时学习精细手势和跨帧空间关系。在论文报告的预测速度比较中，InfiniHand达到11.19FPS，超过HaWoR的两倍；重建精度也在多个测试集上得到提升。

△InfiniHand手部重建总览。

先知道手在哪里，再看清手指怎么动

重建手部动作，不能只盯着手的局部图像。相同的手掌大小可能对应不同距离，局部外观也很难单独解释相机转动。要判断手在空间中的位置，需要把它放回周围场景和前后帧中理解。

传统世界坐标系重建方法通常把任务交给多套系统：检测器找手，手部网络估计姿态，SLAM系统追踪相机，再把结果对齐。每个环节都可能出错，检测抖动、轨迹漂移和尺度偏差还会传到后续阶段。处理大规模视频时，多套模型的计算与协调成本同样不可忽视。

InfiniHand选择共享这些环节需要的几何上下文。预训练的LingBot-Map骨干从完整画面提取几何特征，定位模块据此预测左右手区域；手部重建模块再融合局部外观，补充手指和关节细节。全局特征帮助确定空间关系，局部特征帮助恢复精细形态。

输出采用MANO参数化手模型，用一组参数描述关节姿态、手形与朝向。辅助二维关键点预测还会约束三维结果在图像中的投影，使恢复出的手与可见位置相符。模型随后结合相机轨迹，将各帧手部结果转换到同一个世界坐标系，得到能够跨帧比较的动作轨迹。

△完整画面的几何信息与手部局部细节共同参与重建，两阶段训练逐步连接手势与全局运动。

5000小时视频，先解决标注是否可靠

模型见过多少视频很重要，但错误标注也会随规模一起进入训练。不同数据集的左右手顺序、坐标定义和标注种类并不一致；部分标注投影回画面后，甚至与实际手的位置、姿态对不上。

团队从ARCTIC、HOT3D、EgoDex等9个公开数据集汇集约5000小时视频，统一图像、手部参数、关节、掩码与边界框。已有三维关键点被用于补齐缺失的MANO参数，有相机轨迹的序列则额外保留世界坐标系监督。

清洗时，系统用Sapiens 2预测图像中的二维手部关键点，再与原始标注的投影比较。持续不一致的序列被筛除，不确定样本留待人工检查。这一步移除了约30％—40％的候选训练数据，让规模扩展有了质量把关。

在此基础上，训练分成两步。第一阶段利用有效的相机空间标注，先学好手部定位与精细重建；第二阶段引入相机轨迹和时序监督，联合学习手部与相机运动。这样，不同标注条件的数据都能参与训练，也让精细手势学习和全局轨迹估计各有重点。

视频不断输入，重建也持续向前

长视频处理还面临一个实际问题：如何利用过去的信息，同时控制计算量？InfiniHand以窗口为单位持续接收视频，保留初始参考帧、近期细节特征和更早时刻的压缩记忆。模型由此延续几何上下文，无须每次重新处理全部历史画面。

推理时，两路任务并行工作：一路提取下一窗口的骨干特征，另一路解码上一窗口的手部与相机结果，减少串行等待。论文报告的11.19FPS预测吞吐量，约为HaWoR的2.04倍。对批量视频标注而言，这意味着相同时间内能够处理更多画面。

针对长序列的残余漂移，系统还在后台进行稀疏束调整，通过关键帧之间的几何关系修正相机轨迹。二值关键帧池同时保留近期观测和部分较早帧，避免只顾眼前而丢失长时间联系。这一优化环节仍有额外计算开销，上述11.19FPS针对的是预测吞吐量。

遮挡下少漏手，连续动作更接近参考

效果首先体现在容易失败的画面里。论文展示了打开盒子、双手操作物体，以及厨房、工具台等自然场景：对比方法可能漏掉一只手，或将手掌位置和手指姿态估错，InfiniHand在这些样例中恢复得更完整。下方视频可进一步观察连续帧中的变化。

△Ego4D自然场景对比。左上为InfiniHand，右上为ViDiHand，左下为HaWoR，右下为WiLoR；该离线示例的InfiniHand使用外接手部定位。

定量测试覆盖34个ARCTIC、10个HOT3D、166个HOI4D和100个EgoDex场景。以同时考虑姿态误差和漏检惩罚的PA-p指标衡量，InfiniHand在四个数据集上均取得所比较方法中的最低误差。相较ViDiHand，ARCTIC上的误差从9.82毫米降至7.72毫米，降低21.4％；EgoDex上则从17.22毫米降至7.29毫米，降低57.7％。

把手放到世界坐标系后，InfiniHand在ARCTIC、HOT3D和EgoDex上均取得所比较方法中最低的全局关节位置误差W-MPJPE。其中，EgoDex上相较Dyn-HaMR从78.41毫米降至28.77毫米，降低63.3％。对齐后的连续姿态图也显示，其动作范围和空间排列更接近参考结果。

△将连续时刻的手叠加展示，可比较动作范围、双手间距与姿态变化。蓝色为InfiniHand，绿色为参考；图中展示经过对齐的定性比较。

Ego4D的自然场景视频提供了另一种检验：模型能否应对训练分布之外的视角、遮挡与交互。展示样例中的重建体现了泛化潜力，在遮挡严重区域也能做到精准稳定的重建。

让更多人类操作视频成为可用的三维示范

InfiniHand把手部定位、精细重建和相机估计放进统一流式框架，为大规模第一视角视频打标提供了一条更高效的路径。这些三维动作经过质量筛查和机器人形态适配后，有望用于灵巧手数据增广、动作迁移与模仿学习，扩大具身训练可利用的人类示范来源。

这条路径仍有待完善：系统需要额外模型恢复物理尺度，大幅运动与间歇遮挡依然困难，单目重建生成的监督也可能带入尺度漂移。更高质量、更多样的训练数据，有望把可靠标注扩展到更复杂的日常活动。

作者：Kerui Ren、Kaiwen Song、Weiguang Zhao、Yuxi Wang、Yufei Liu、Bo Dai、Haoyu Guo、Chunhua Shen、Mulin Yu、Tao Lu、Junting Dong。
作者单位：上海人工智能实验室、上海交通大学、中国科学技术大学、利物浦大学、南洋理工大学、香港大学、浙江大学。
论文已于2026年9月28日在arXiv发布预印本。
论文：https://arxiv.org/abs/2609.35743
项目主页与交互演示：https://infinihand.github.io/
代码仓库：https://github.com/infinihand/InfiniHand

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

— 完 —

【学术投稿】请在工作日发送邮件至：ai@qbitai.com，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目/主页链接，以及联系方式。

🎓 我们会 (尽量) 及时回复你 :)

🌟 点亮星标 🌟

科技前沿进展每日见

阅读原文

跳转微信打开