vLLM双向KV传输优化多轮Agent延迟
先了解这件事
2026年10月20日，AWS Machine Learning Blog 连续发布两篇一手报道，介绍 vLLM 在分离式推理上的两项 KV 传输优化。第一篇称 vLLM 新增双向 KV 传输能力：decode 节点在后续轮次把已计算的 KV 缓存回传给 prefill 节点，避免重复计算对话历史；在基于 Amazon EC2 P5en 实例的 1P1D 多轮基准测试中，该机制使 Qwen3-32B 的 TTFT 最多降低 1.6 倍，zai-org/GLM-5-FP8 最多降低 3.3 倍。第二篇称 vLLM 推出基于 push 的 KV 传输，新增 push 模式的 NIXL connector，将 prefill 后的传输协调与准备工作移出关键路径，以降低 TTFT 并提升 TPOT；在同样基于 P5en、通过 EFA 连接的 1P1D 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍，TPOT 最高改善 30%。两篇报道均未提及彼此关系及后续计划。
AI 根据报道生成 · 3 小时前更新
事件进展
- 10月20日 00:05 · 1 篇报道vLLM引入基于推送的KV传输以优化分离式推理性能AWS Machine Learning Blog：vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
- 10月20日 00:03 · 1 篇报道vLLM双向KV传输优化多轮Agent延迟AWS Machine Learning Blog：vLLM 双向 KV 传输如何降低多轮智能体负载的 TTFT
报道时间线
沿着报道，了解事件的不同侧面。
- AWS Machine Learning BlogvLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
vLLM 新增 push 模式的 NIXL connector，将 prefill 后的传输协调与准备工作移出关键路径，从而降低 TTFT 并提升 TPOT。在基于 Amazon EC2 P5en 实例、通过 EFA 连接的 1P1D 部署上，Qwen3-32B 模型的 TTFT 最高提升 3 倍，TPOT 最高改善 30%。
- AWS Machine Learning BlogvLLM 双向 KV 传输如何降低多轮智能体负载的 TTFT
vLLM 新增双向 KV 传输能力，让 decode 节点在后续轮次把已计算的 KV 缓存回传给 prefill 节点，避免重复计算对话历史。在基于 Amazon EC2 P5en 实例的 1P1D 多轮基准测试中，该机制将 Qwen3-32B 的 TTFT 降低最多 1.6 倍，zai-org/GLM-5-FP8 最多降低 3.3 倍。
本事件热度走势
当前热度 9·可比范围峰值 10（10月20日 01:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。