arXiv 论文《You don't need long context》论证频繁压缩上下文可不损失任务精度

论文指出后置 token 生成成本最高可达前置 token 的 7x，并展示通过频繁压缩上下文，前沿语言模型在长程与长输入任务上几乎不损失精度。作者还发现每轮上下文仅保留一个动作时 LLM 在长程软件工程任务上性能也不崩溃，据此提出语义状态空间模型（SSSMs）概念，质疑长上下文语言模型的必要性。