Hugging Face Daily Papers·· 2 天前AI 评分43
循环 Transformer 的近乎零成本解码优化:LoopCD 框架
Decoding Looped Transformers Better for (Almost) Free
AI 导读
研究者提出免训练对比解码框架 LoopCD,通过对比最终预测与较早循环轮的中间表示来引导 token 选择,分为 logit 空间的 LoopCD-Logits 和隐状态空间的 LoopCD-Hidden 两种模式。
来源:Hugging Face Daily Papers · arxiv.org