Rapports sur l'IA · Amazon · 2026-10-19 · Blog / commentaire
Améliorer le TTFT des charges de travail agentiques multi-tours grâce au transfert bidirectionnel du cache KV dans vLLM
Titre original: Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
Les charges de travail agentiques multi-tours retraitent à chaque tour un contexte de conversation de plus en plus long, ce qui augmente la latence. Cet article décrit le transfert bidirectionnel du cache KV, qui permet aux nœuds de préremplissage et de décodage de réutiliser d'un tour à l'autre le contexte déjà calculé. Sur les instances Amazon EC2 P5en avec EFA, il réduit le délai avant le premier jeton jusqu'à 1.6x pour Qwen3-32B et jusqu'à 3.3x pour GLM-5-FP8.