HelixWorld:实时交互式音视频世界模型
HelixWorld: A Real-time Interactive Audio-Visual World Model
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
HelixWorld 是实时交互式音视频世界模型,让视觉场景与基于相机的空间立体声在用户交互下原生协同演化。研究团队构建了含真实立体声与公制相机位姿的高保真空间音视频数据集,预训练 6-DoF 相机轨迹与用户动作条件下的双向教师模型,并通过在线轨迹蒸馏将其压缩为少步流式学生模型,在单 GPU 上以 24 FPS 实现无漂移的联合音视频推演。
来源:Hugging Face Daily Papers · arxiv.org