语言模型可自主控制注意力:Declarative Attention 让模型在思维链中声明关注范围
Language Models Can Control Their Own Attention
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
研究者提出 Declarative Attention(DA)协议,让模型在思维链中主动声明需要关注的上下文区域,推理引擎像解析工具调用一样跳过大部分 KV cache 读取。
来源:Hugging Face Daily Papers · arxiv.org