跳到正文
Hugging Face Daily Papers·· 1 天前AI 评分38

KronLSTM:基于 Kronecker Delta Rule 的长上下文线性注意力架构

Kronecker Delta Rule for Long Context Linear Attention

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

研究者提出 KronLSTM,一种基于 Kronecker Delta Rule 的线性注意力架构,通过仅沿矩阵空间单一方向修正目标关联,减少对已存信息的干扰,适合长上下文语言建模。

来源:Hugging Face Daily Papers · arxiv.org