跳到正文
Hugging Face Daily Papers·· 1 天前AI 评分44

ALLOT:面向视频扩散 Transformer 的免训练块稀疏注意力分配方法

Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

研究者提出免训练的稀疏分配方法 ALLOT,通过单元探测与轨迹校准估计各层-去噪步组合对最终视频误差的贡献,并在实测延迟预算下联合优化各单元密度。在 HunyuanVideo 上搭配 XAttention 时,ALLOT 在相同或更短实际耗时下取得 11.8 dB 的 PSNR 提升。

来源:Hugging Face Daily Papers · arxiv.org