Informes de IA · Amazon · 2026-10-19 · Blog / comentario
Mejora el TTFT en cargas de trabajo agénticas de varios turnos con transferencia bidireccional de KV en vLLM
Título original: Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
Las cargas de trabajo agénticas de varios turnos reprocesan en cada turno un contexto de conversación cada vez mayor, lo que aumenta la latencia. Esta publicación describe la transferencia bidireccional de la caché KV, que permite a los nodos de prefill y decode reutilizar el contexto calculado previamente a lo largo de los turnos. En instancias Amazon EC2 P5en con EFA, reduce el tiempo hasta el primer token hasta 1,6 veces para Qwen3-32B y hasta 3,3 veces para GLM-5-FP8.