AI 导读
借助 Multi-Token Prediction (MTP) 草稿模型，将你的 Gemma 4 工作流提速最高 3 倍。 标准 LLM 推理本质上受限于内存带宽，数十亿参数仅为了生成一个 token 就要从 VRAM 中搬运，从而造成延迟瓶颈。我们正通过为 @googlegemma 4 提供 MTP 草稿模型来缓解这一瓶颈。
正文
Speed up your Gemma 4 workflows by up to 3x with Multi-Token Prediction (MTP) drafters.
Standard LLM inference is fundamentally memory-bandwidth bound, creating a latency bottleneck as billions of parameters travel from VRAM just to generate a single token. We're working to ease this bottleneck with MTP drafters for @googlegemma 4.
来源：@googleaidevs · x.com