跳到正文
Hugging Face Daily Papers·· 28 天前AI 评分56

Uno:用离散扩散为 LLM 实现无损加速,8B 模型超越 26B DiffusionGemma

Unlocking Lossless Speedups in LLMs via Discrete Diffusion

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

论文提出 diffusion-augmented LLMs,把模型参数拆成用标准 NTP 目标训练的 AR 权重和轻量扩散权重,通过 Diffusion Distillation 阶段让模型并行生成多个 token。

来源:Hugging Face Daily Papers · arxiv.org