KronLSTM:基于 Kronecker Delta Rule 的长上下文线性注意力架构
Kronecker Delta Rule for Long Context Linear Attention
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
研究者提出 KronLSTM,一种基于 Kronecker Delta Rule 的线性注意力架构,通过仅沿矩阵空间单一方向修正目标关联,减少对已存信息的干扰,适合长上下文语言建模。
来源:Hugging Face Daily Papers · arxiv.org