跳到正文
Hugging Face Daily Papers·· 12 小时前AI 评分41

用测试时回归重新思考序列压缩:TTR-Compressor 提出新方案

Rethinking Sequence Compression with Test-time Regression

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

TTR-Compressor 将序列压缩视为测试时回归问题,输入 token 定义回归问题、拟合系数构成压缩表示,回归问题端到端反向传播学习,系数在前向传播中以闭式解高效计算。在块稀疏注意力中,其 RULER 表现大幅优于基于注意力的压缩器;作为多模态大语言模型的视觉 token 合并器,它持续优于标准 MLP merger,并在视觉 token 减少 55.6% 时达到同等性能。

来源:Hugging Face Daily Papers · arxiv.org