The Extender：一种日志结构化的 Transformer 架构
The Extender: A Log-Structured Transformer
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
研究者提出 The Extender，一种日志结构化的 Transformer 变体，通过新增拼接通道 x 让各层注意力 kv 投影只读取 x，将持久注意力内存占用从 2Ld_model 降至 Σ|εℓ|。
来源：Hugging Face Daily Papers · arxiv.org