跳到正文
Hugging Face Daily Papers·· 3 天前AI 评分43

ALoDLM:自适应循环扩散语言模型,用 token 级计算分配缩小与 AR 模型的质量差距

ALoDLM: Adaptively Looped Diffusion Language Models

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

ALoDLM 通过 token 自适应潜在循环替代均匀计算,按 token 难度分配算力,在 1.7B 和 8B 两个参数规模、十一个基准上平均得分超过所有评测的扩散语言模型及对应 AR 基线。该方法将 token 级计算调度建模为潜在变量并推导条件 NELBO,同时保留快速并行解码,在优化推理引擎下取得更优的质量-效率权衡。

来源:Hugging Face Daily Papers · arxiv.org