跳到正文
Apple Machine Learning Research·· 2026-08-05AI 评分31

抑制 Diffusion Transformers 中的离群 token

Taming Outlier Tokens in Diffusion Transformers

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

研究揭示,现代 RAE-DiT 图像生成流程中,预训练 ViT 编码器和 DiT 去噪器都会产生高范数离群 token,后者尤其出现在中间层。这类 token 会吸引过多注意力却携带有限局部信息,此前在生成模型中的作用尚未被充分探索。

来源:Apple Machine Learning Research · machinelearning.apple.com