Uno:用离散扩散为 LLM 实现无损加速,8B 模型超越 26B DiffusionGemma
Unlocking Lossless Speedups in LLMs via Discrete Diffusion
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
论文提出 diffusion-augmented LLMs,把模型参数拆成用标准 NTP 目标训练的 AR 权重和轻量扩散权重,通过 Diffusion Distillation 阶段让模型并行生成多个 token。
来源:Hugging Face Daily Papers · arxiv.org