SleuthVLM 论文:视频全模态理解或许不需要直接听音频
SleuthVLM: Do We Really Need Audio-in-Video for Omni Video Understanding?
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
论文提出 SleuthVLM,一个不直接接收音频的 VLM 智能体框架,语音被转写为文本,由 VLM 自主探查视频。在四个全模态基准、最长 90 分钟的视频上平均准确率达 75.0%,高于 Gemini 3.8 Flash 2.6 个百分点,并以 77.8% 登顶 Video-MME-v2;基于开源 27B VLM 时优于所有开源全模态模型。
来源:Hugging Face Daily Papers · arxiv.org