Hugging Face Daily Papers·2026-10-19 08:00· 7 天前AI 评分44

TokenGate：用可学习 token 剪枝让 LLM 预填充更快更省内存

TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning

本站未展示全文，请前往来源网站阅读。

AI 导读

TokenGate 是一个可即插即用的小型组件，通过端到端可学习的 token 剪枝加速长上下文预填充，在多种任务上实现 1.4-11.3 倍更快的 TTFT 和 1.5-3.4 倍更低的峰值内存，且精度不降。