Rapports sur l'IA · Amazon · 2026-10-19 · Blog / commentaire
Transfert KV par poussée pour améliorer le TTFT et le TPOT de l'inférence désagrégée dans vLLM
Titre original: Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
La désagrégation préremplissage-décodage de vLLM nécessite de transférer le cache KV entre les instances du moteur, ce qui affecte le délai avant le premier jeton. Cet article présente un connecteur NIXL par poussée qui retire la coordination du transfert du chemin critique. Dans des tests de performance sur des instances Amazon EC2 P5en avec AWS EFA, il offre jusqu'à 3x de meilleur TTFT et 30% de meilleur TPOT.