Informes de IA · Amazon · 2026-10-19 · Blog / comentario
Transferencia de KV basada en push para mejorar el TTFT y el TPOT en la inferencia desagregada en vLLM
Título original: Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
La desagregación de prefill y decode de vLLM requiere transferir la caché KV entre instancias del motor, lo que afecta al tiempo hasta el primer token. Esta publicación presenta un conector NIXL basado en push que saca la coordinación de la transferencia de la ruta crítica. En las pruebas comparativas en instancias Amazon EC2 P5en con AWS EFA, ofrece hasta 3 veces mejor TTFT y un 30 % mejor TPOT.