普林斯顿研究者提出 Recurrent Looped Transformer(RLT):跨 token 携带解码器状态,每 token 执行 96 个逻辑块
A Princeton Researcher Proposes Recurrent Looped Transformer (RLT) that Carries Decoder State across Every Token, Fixing 96 Blocks per Token with Unbounded Temporal Depth
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
普林斯顿研究者 Yifan Zhang 发布技术报告,提出 Recurrent Looped Transformer(RLT),将解码器最终隐状态与逐层滑动窗口注意力缓存跨 token 传递,prompt 与回复之间不重置。
来源:MarkTechPost · marktechpost.com