热点事件观察中
NVIDIA论文:长任务中AI模型可靠性下降
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
NVIDIA 发表论文 Staying on Task,测试 7 个开源模型在加法、排序等重复任务上的长任务可靠性。2026 年 10 月 2 日有报道称,128K token 任务的平均准确率比 4K token 任务低 62.8%,表现最好的模型在最长任务中也只有 17.1% 做到每项全对。论文指出模型会看似理解任务却中途丢失位置,尤其在条目没有 ID 时更明显,并建议给每个条目编号、小批次处理并逐行检查输出。
AI 根据报道生成 · 1 小时前更新
最新进展10月2日 19:54
报道称 128K token 任务平均准确率比 4K 任务低 62.8%,最好模型仅 17.1% 全对。报道时间线
沿着报道,了解事件的不同侧面。
10月2日
- X:Rohan Paul精选NVIDIA 论文测试长任务可靠性:128K token 任务平均准确率下降 62.8%
NVIDIA 在论文 Staying on Task 中测试 7 个开源模型处理加法、排序等重复任务,发现 128K token 任务的平均准确率比 4K token 任务低 62.8%,最好的模型在最长任务中也只有 17.1% 做到每项全对。模型会看似理解任务却中途丢失位置,尤其在条目没有 ID 时;作者建议给每个条目编号、小批次处理并逐行检查输出。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。