AI 报告 · Amazon · 2026-10-19 · 博客 / 评论

基于推送的 KV 传输，改善 vLLM 中解耦式推理的 TTFT 和 TPOT

原标题: Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM

vLLM 的预填充-解码解耦需要在引擎实例之间传输 KV 缓存，这会影响首词元时间。本文介绍一种基于推送的 NIXL 连接器，它将传输协调移出关键路径。在配备 AWS EFA 的 Amazon EC2 P5en 实例上的基准测试中，它最多可将 TTFT 提升 3 倍，将 TPOT 提升 30%。