介绍 vLLM 基于 push 的 KV 传输优化
热点事件持续更新
介绍 vLLM 基于 push 的 KV 传输优化
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
vLLM 新增基于 push 模式的 NIXL connector，将 prefill 后的 KV 传输协调与准备工作移出关键路径，从而降低 TTFT 并提升 TPOT。在 EFA 连接的 1P1D P5en 集群上，Qwen3-32B 的 TTFT 最高提升 3 倍，TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证，后作为与加速器无关的特性贡献给 vLLM。 使用 push 模式需将 prefill 和 decode 服务器都配置为 NixlPushConnector，适用于可提前选择 decode 节点且优先降低 TTFT 的场景；pull 模式仍适合需要双向 KV 传输或 prefill 后再选择 decode 实例的负载。
AI 根据报道生成 · 1 小时前更新
最新进展10月20日 00:05
vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning BlogvLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与准备工作移出关键路径，从而降低 TTFT 并提升 TPOT。在 EFA 连接的 1P1D P5en 集群上，Qwen3-32B 的 TTFT 最高提升 3 倍，TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证，后作为与加速器无关的特性贡献给 vLLM。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。