STAIR 如何让 LLM 复用前序问题的计算提升后续答题准确率
Can Computation from Earlier Problems Help LLMs Solve New Ones?
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
研究提出 STAIR(Stale-Token Attention for Inter-query Reuse),将早前回答生成中的 keys 和 values 存入固定 bank,并学习在当前查询读取该 bank 时重定向查询,基座模型保持冻结,仅训练 12,288 个参数。
来源:Hugging Face Daily Papers · arxiv.org