抑制 Diffusion Transformers 中的离群 token
Taming Outlier Tokens in Diffusion Transformers
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
研究揭示,现代 RAE-DiT 图像生成流程中,预训练 ViT 编码器和 DiT 去噪器都会产生高范数离群 token,后者尤其出现在中间层。这类 token 会吸引过多注意力却携带有限局部信息,此前在生成模型中的作用尚未被充分探索。
来源:Apple Machine Learning Research · machinelearning.apple.com