跳到正文
原文
Hugging Face Daily Papers·· 1 天前AI 评分35

HC-DLM:分层连续扩散语言模型

Hierarchical Continuous Diffusion Language Models

AI 导读

研究者提出分层连续扩散语言模型(HC-DLM),将离散 token 生成与连续隐变量轨迹耦合在单一去噪过程中,训练目标由 token 似然的变分下界推导而来。该模型以隐变量作为唯一持久生成状态,每步从中读出 token 并反馈作为下一步隐变量更新的脚手架。在 Sudoku、Countdown 和 LM1B 上,同等模型规模下 HC-DLM 在谜题准确率和生成困惑度上均优于离散与连续扩散基线。

来源:Hugging Face Daily Papers · arxiv.org