KI-Berichte · Amazon · 2026-10-19 · Blog / Kommentar
Verbesserung der TTFT für mehrstufige agentische Workloads mit bidirektionalem KV-Transfer in vLLM
Originaltitel: Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
Mehrstufige agentische Workloads verarbeiten bei jeder Runde einen wachsenden Gesprächskontext erneut, was die Latenz erhöht. Dieser Beitrag beschreibt den bidirektionalen KV-Cache-Transfer, mit dem Prefill- und Decode-Knoten zuvor berechneten Kontext über mehrere Runden hinweg wiederverwenden können. Auf Amazon-EC2-P5en-Instanzen mit EFA verkürzt er die Time to First Token bei Qwen3-32B um bis zu 1,6x und bei GLM-5-FP8 um bis zu 3,3x.