跳到正文

#视频

今日 6 条
今天10月2日周五
  1. Hugging Face Daily Papers43

    视频大模型时序推理为何在输出层“褪色”:TAI 方法无需训练即可增强时序表征

    视频大语言模型(VideoLLMs)的时序推理能力在中间层达到峰值,却随层数加深逐渐衰减至输出层,导致反转帧序后预测结果往往不变。研究者据此提出 Temporal Activation Injection(TAI),在峰值层提取时序表征并注入后续层,无需训练即可在三个 VideoLLM 和四个基准上稳定提升时序推理,且对非时序任务影响极小。该研究已被 NeurIPS 2026 接收。

  2. Hugging Face Daily Papers36

    4Director:用刚性 3D 几何控制视频世界模型

    4Director 是一个以显式 4D 场景表示为条件的视频世界模型,将每个物体从输入图像重建为规范网格,并按每帧一个刚性变换驱动其运动。它把受控场景渲染为深度视频,再通过 Motion Adapter 合成视角一致的外观、光照与非刚性动态。团队构建了含 20,774 个片段的 RealCOD-Rigid 数据集,并提出 IG-IoU 指标,实验显示其在视觉质量与相机、物体控制上均优于此前方法。

10月1日周四
9月30日周三
  1. Hugging Face Daily Papers39

    LEAP:面向长音视频感知的学习式分块证据检索框架

    LEAP 通过将录音切分为固定时长块、用轻量定位阶段为每块候选窗口打分,再把高分窗口汇聚后单次有界重编码作答,使答案输入与峰值上下文不随录音时长增长。在多个 AVQA 基准上,LEAP 较 Qwen3-Omni-30B-A3B 基线提升 4.5-16.8%,迁移到 MiniCPM-o 4.5 后超出其已发表结果 3.1-13.0%。

  2. Hugging Face Daily Papers34

    MemLife:面向长期第一视角视频记忆的整理与推理系统

    MemLife 是一个多模态记忆系统,通过构建实体锚定的第一人称文本片段,并用时间索引的智能体读取器进行检索,在无需训练、查询时不访问原始视频的情况下,于四个长时程基准上比最强免训练基线提升 4.6–12.0%。配套的 MemOpt 强化学习框架优化记忆写入器,使 MemLife 再提升 2.7–5.0%,且增益可跨写入器与读取器骨干及不同记忆系统泛化。

  3. Hugging Face Daily Papers40

    StreamMAE:让自监督学习在连续视频流上奏效

    研究团队构建了 95 小时城市步行游览视频数据集 WT++,用于严格按时间顺序、滑动窗口批次的流式自监督预训练。结果显示对比学习和蒸馏方法在此设定下表现不佳,MAE 较稳健但仍不及标准 i.i.d. 预训练,主要瓶颈是批内帧高度相似。

9月29日周二
9月28日周一
9月27日周日
  1. Hugging Face Daily Papers42

    DataMagic:通过声明式多智能体编排创作数据视频

    DataMagic 提出一种从原始表格数据自动生成数据视频的声明式多智能体编排方法。其 DVSpec 规范统一图表、旁白与动画并保证数据溯源,配合“先生成后编排”策略优化叙事连贯性。在 109 个真实样本上,DataMagic 将质量分数从 GPT-5 的 2.13/5 提升至 3.89(+83%),执行成功率超 95%,并将创作耗时降低 79.7%。

9月18日周五
  1. MiniMax (official)34

    Nunchux AI 与 MIT、CMU、UC Berkeley、斯坦福及 NVIDIA 研究者合作推出 VC-Attention,为 MiniMax-H3 带来免训练低比特注意力加速,在 B200 上比 FlashAttention-4 快 1.6×、B300 上快 1.5×,保真度优于 SageAttention2。

    引用Nunchux AI@NunchuxAI

    Introducing VC-Attention: fast and accurate low-bit attention without retraining. On MiniMax-H3, VC-Attention speeds up attention by 1.6× on B200 and 1.5× on B300 over FlashAttention-4, with better fidelity than SageAttention2. It also works with existing sparse attention methods. Two key innovations: • V-Smooth reduces value quantization error. • ExpCast-FP8 speeds up softmax. Nunchux Attention, our proprietary extension, pushes the speedup to 1.9× on B200 and 1.8× on B300. Blog: http://www.nunchux.ai/blog/attention-is-the-video-bottleneck Technical Report: http://arxiv.org/pdf/2609.15810 Joint work by researchers at MIT, CMU, UC Berkeley, Stanford, and NVIDIA.

9月11日周五
  1. Runway News53

    Runway 详解实时视频生成研究:从 Gen-4.5 后训练到流式输出

    Runway 分享其实时视频生成研究的整体思路,目标是把视频模型从整段生成转向优化首帧时间和随提示流式输出。方法上基于 Gen-4.5 等基础模型做后训练,先将架构改为时间因果、逐帧自回归生成,再通过两阶段分布匹配蒸馏(先 off-policy 后 on-policy)把每帧压缩到几步推理,配合渐增序列长度课程减少误差累积,同时针对并发会话构建推理服务栈。