AI 報告 · Amazon · 2026-10-19 · 部落格／評論
透過 vLLM 中的雙向 KV 傳輸，改善多輪代理式工作負載的 TTFT
原標題: Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
多輪代理式工作負載在每一輪都要重新處理不斷增長的對話情境，因而增加延遲。本文介紹雙向 KV 快取傳輸，讓預填（prefill）節點與解碼（decode）節點能在多輪之間重複使用先前已計算的情境。在搭載 EFA 的 Amazon EC2 P5en 執行個體上，Qwen3-32B 的首個 token 時間最多縮短 1.6 倍，GLM-5-FP8 則最多縮短 3.3 倍。