SAS：通过上下文排序端到端优化实现简单注意力稀疏化

针对现有可训练注意力稀疏化方法用硬 Top-K 选择阻断梯度、只能蒸馏逐层稠密注意力分布的问题，研究者提出 SAS（Simple Attention Sparsification），一种门控稀疏注意力机制，将选择器的连续分数以 log 形式注入注意力 softmax，用语言建模损失端到端优化上下文排序。