跳到正文
原文
Hugging Face Daily Papers·· 2 天前AI 评分43

循环 Transformer 的近乎零成本解码优化:LoopCD 框架

Decoding Looped Transformers Better for (Almost) Free

AI 导读

研究者提出免训练对比解码框架 LoopCD,通过对比最终预测与较早循环轮的中间表示来引导 token 选择,分为 logit 空间的 LoopCD-Logits 和隐状态空间的 LoopCD-Hidden 两种模式。

来源:Hugging Face Daily Papers · arxiv.org