Continuum Attention:用连续记忆曲线积分替代离散键值查找的因果注意力算子
Continuum Attention
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
研究者提出 Continuum Attention(CA),一种因果 Transformer 注意力算子,用对连续分段线性记忆曲线的积分替代离散 key/value 查找,每个 query 沿曲线诱导指数相关性密度,通过闭式指数矩得到精确归一化注意力,梯度可由至多二阶矩解析求出,支持并行 GPU 实现并保持二次序列复杂度。
来源:Hugging Face Daily Papers · arxiv.org