vLLM 推出推式与双向 KV 传输优化分离式推理

2026年10月20日，AWS Machine Learning Blog 发文介绍 vLLM 在分离式推理（disaggregated inference）上的两项 KV 传输优化。其一，vLLM 新增基于 push 的 NIXL connector，把 prefill 完成后的传输协调与准备工作移出关键路径，从而降低首 token 延迟（TTFT）并提升每输出 token 时间（TPOT）；报道称该改动针对 prefill 与 decode 分处不同实例时的 KV 缓存传输环节。其二，vLLM 新增双向 KV 传输，让 decode 节点在后续轮次把已计算的 KV 缓存回传给 prefill 节点，避免重复计算对话历史；在 Amazon EC2 P5en 的 1P1D 部署上，该机制将 TTFT 最多降低 1.6 倍（Qwen3-32B）和 3.3 倍（zai-org/GLM-5-FP8）。目前进展仍停留在方案介绍层面，报道未给出 push 方案的具体性能数字、上线版本或适用范围。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。