Stanford 与 UC Berkeley 推出 TokenGate：token 门控注意力让长上下文 prefill 最快提升 11.3 倍
Researchers from Stanford and UC Berkeley Introduce TokenGate: Token-Gated Attention Makes Long-Context Prefill Up to 11.3x Faster
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
Stanford 与 UC Berkeley 研究者发布 TokenGate，通过小型 MLP 门控加 LoRA（r=16）为预训练 LLM 加入可学习的 token 剪枝，长上下文 prefill 的 TTFT 提升 1.4x 至 11.3x，峰值显存降低 1.5x 至 3.4x，且无精度损失。
来源：MarkTechPost · marktechpost.com