投机解码如何让 LLM 生成速度提升 2-3 倍

投机解码通过让一个小模型预先产出多个候选 token，再由大模型单次前向传播一次性评估全部候选，把生成速度提升 2-3 倍，且输出在统计上与单独运行大模型完全一致。以 16-bit 精度存储的 70B 模型每生成一个 token 需从显存读取约 140 GB 权重，token 生成阶段算力利用率仅 20%-40%，投机解码正是利用这部分闲置算力。