自注意力在竞争下的检索容量研究

研究通过保留每个注意力头、层和查询中注意力权重最高的 token 并测量 NLL 增幅，估算语言模型维持损失容差所需的有效注意力集合大小。基于注意力的选择显著优于随机选择，扩展上下文会增大所需集合大小但其占上下文比例下降，对保留权重重新归一化可大幅缩小该集合。