Triadic Linear Attention：用三维循环状态做长上下文序列建模
Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
研究者提出 Triadic Linear Attention，将 key、第二个 key 与 value 的三元外积写入三阶（3D）张量状态，并用两个 query 分别与两个 key 轴收缩来读取，E 维第二 key 可在仅增加两个投影的情况下把状态规模扩大 E 倍。
来源：Hugging Face Daily Papers · arxiv.org