论文:检索中的 context rot 源于注意力竞争而非长度
Length Is Cheap, Competition Is Not: Attention Predicts Context Rot in Retrieval
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
arXiv:2611.04169 研究发现长输入检索失败的主因不是长度而是证据间的竞争:5 个 0.5B–3B 开源模型中,中性填充文本使准确率保持在 0.97–1.00(Qwen2.5-1.5B 至 32K tokens),而同位置同格式的竞争性语句使其降至 0.16–0.33,单个竞争值使损失放大 9–110 倍。
来源:Hugging Face Daily Papers · arxiv.org