Hugging Face Daily Papers·· 1 天前AI 评分35
HC-DLM:分层连续扩散语言模型
Hierarchical Continuous Diffusion Language Models
AI 导读
研究者提出分层连续扩散语言模型(HC-DLM),将离散 token 生成与连续隐变量轨迹耦合在单一去噪过程中,训练目标由 token 似然的变分下界推导而来。该模型以隐变量作为唯一持久生成状态,每步从中读出 token 并反馈作为下一步隐变量更新的脚手架。在 Sudoku、Countdown 和 LM1B 上,同等模型规模下 HC-DLM 在谜题准确率和生成困惑度上均优于离散与连续扩散基线。
来源:Hugging Face Daily Papers · arxiv.org