vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT

vLLM 新增 push 模式的 NIXL connector，将 prefill 后的传输协调与准备工作移出关键路径，从而降低 TTFT 并提升 TPOT。在基于 Amazon EC2 P5en 实例、通过 EFA 连接的 1P1D 部署上，Qwen3-32B 模型的 TTFT 最高提升 3 倍，TPOT 最高改善 30%。