AWS Machine Learning Blog· Sunita Nadampalli·· 3 小时前AI 评分42
vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
vLLM 新增 push-based NIXL connector，将 prefill 后的传输协调与准备工作移出关键路径，从而降低 TTFT 并提升 TPOT。
来源：AWS Machine Learning Blog · aws.amazon.com