AWS Machine Learning Blog· Sunita Nadampalli·· 5 小时前精选AI 评分67
vLLM 引入 push-based KV transfer，降低分离式推理的 TTFT 和 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 介绍了 vLLM 的 push-based NIXL connector，通过让 decode 实例提前注册目标 KV blocks，并在 prefill 侧后台线程中提交 NIXL WRITE，将传输协调和准备工作移出 TTFT 关键路径。
推荐理由
文章拆解了 vLLM push 模式如何将 KV 传输准备移出关键路径，并用 Qwen3-32B 基准展示其在不同负载下的延迟变化。
来源：AWS Machine Learning Blog · aws.amazon.com