热点事件持续更新
vLLM优化分离式推理KV传输
2 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
2026年10月20日，AWS连续介绍vLLM在P-D分离部署中的两项KV传输机制。其一是双向KV cache transfer：prefill节点可复用decode节点跨轮次保留的KV blocks，减少多轮智能体工作负载对历史上下文的重复计算。其二是push-based NIXL connector：decode实例提前注册目标KV blocks，prefill侧通过后台线程提交NIXL WRITE，将传输协调与准备工作移出TTFT关键路径。AWS称这些机制可降低相关推理场景的TTFT；第二项还涉及TPOT，但报道未提供具体测试数据或降幅。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 00:05
AWS介绍vLLM以双向及push-based KV传输优化分离式推理延迟。报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning Blog精选vLLM 引入 push-based KV transfer，降低分离式推理的 TTFT 和 TPOT
AWS 介绍了 vLLM 的 push-based NIXL connector，通过让 decode 实例提前注册目标 KV blocks，并在 prefill 侧后台线程中提交 NIXL WRITE，将传输协调和准备工作移出 TTFT 关键路径。
- AWS Machine Learning Blog精选AWS 介绍 vLLM 双向 KV transfer 如何降低多轮智能体工作负载的 TTFT
AWS 介绍了 vLLM 在 P-D 分离部署中通过双向 KV cache transfer，让 prefill 节点复用 decode 节点跨轮次保留的 KV blocks，从而减少多轮智能体对历史上下文的重复计算。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。