TokenGate：可学习令牌剪枝加速LLM预填充

2026年10月19日，Hugging Face Daily Papers 报道了 TokenGate，一个用于加速大语言模型长上下文预填充的可即插即用小型组件，通过端到端可学习的 token 剪枝实现加速，报道称在多种任务上取得 1.4–11.3 倍更快的首 token 延迟（TTFT）和 1.5–3.4 倍更低的峰值内存，且精度不降。10月25日，MarkTechPost 进一步报道该工作由 Stanford 与 UC Berkeley 研究者发布，并说明其实现方式为小型 MLP 门控加 LoRA（r=16），为预训练 LLM 加入可学习的 token 剪枝；报道给出的加速与显存数据与早先报道一致，即 TTFT 提升 1.4 至 11.3 倍、峰值显存降低 1.5 至 3.4 倍，且无精度损失。目前该工作仍处于论文发布阶段，尚无更多后续进展报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。