InfiLoop:用循环原生注意力残差将测试时迭代扩展至数万次
Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
研究者提出循环原生残差连接 InfiLoop,让循环 Transformer 在迭代次数增长时不再性能退化,通过内容加权与学习式时间衰减维护循环状态的持续摘要,并以精确流式递推保持聚合内存恒定。
来源:Hugging Face Daily Papers · arxiv.org