Hugging Face Daily Papers·2026-10-01 08:00· 1 天前AI 评分35

通过扩展与蒸馏文本嵌入提升扩散语言模型的可扩散性

Scaling and Distilling Text Embeddings for Better Diffusibility

AI 导读

研究通过将嵌入模型从 T5 扩展到 T5Gemma-1 再到 T5Gemma-2，发现更强的嵌入模型能显著提升扩散语言模型的生成性能，但 T5Gemma-2 的嵌入过于判别性，导致连续扩散采样失败。