TTR-Compressor：测试时回归做序列压缩

2026年10月23日，Hugging Face Daily Papers 报道了 TTR-Compressor 方法，提出用测试时回归重新思考序列压缩。该方法将序列压缩视为测试时回归问题：输入 token 定义回归问题，拟合系数构成压缩表示；回归问题端到端反向传播学习，系数在前向传播中以闭式解高效计算。报道称，在块稀疏注意力中，其 RULER 表现大幅优于基于注意力的压缩器；作为多模态大语言模型的视觉 token 合并器，它持续优于标准 MLP merger，并在视觉 token 减少 55.6% 时达到同等性能。目前该工作处于论文发布阶段，尚无后续实验复现或落地应用的报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。