AI 報告 · Amazon · 2026-10-19 · 部落格／評論
透過推送式 KV 傳輸，改善 vLLM 分離式推論的 TTFT 與 TPOT
原標題: Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
vLLM 的預填－解碼分離（prefill-decode disaggregation）需要在引擎執行個體之間傳輸 KV 快取，這會影響首個 token 時間。本文介紹一種推送式 NIXL 連接器，將傳輸協調移出關鍵路徑。在搭載 AWS EFA 的 Amazon EC2 P5en 執行個體上進行的基準測試中，TTFT 最多提升 3 倍，TPOT 提升 30%。