跳到正文
Hugging Face Daily Papers·· 1 天前AI 评分44

InfiLoop:用循环原生注意力残差将测试时迭代扩展至数万次

Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

研究者提出循环原生残差连接 InfiLoop,让循环 Transformer 在迭代次数增长时不再性能退化,通过内容加权与学习式时间衰减维护循环状态的持续摘要,并以精确流式递推保持聚合内存恒定。

来源:Hugging Face Daily Papers · arxiv.org