KI-Berichte · Amazon · 2026-10-19 · Blog / Kommentar
Push-basierter KV-Transfer zur Verbesserung von TTFT und TPOT bei disaggregierter Inferenz in vLLM
Originaltitel: Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
Die Prefill-Decode-Disaggregation von vLLM erfordert die Übertragung des KV-Caches zwischen Engine-Instanzen, was die Time to First Token beeinflusst. Dieser Beitrag stellt einen push-basierten NIXL-Konnektor vor, der die Koordination der Übertragung aus dem kritischen Pfad verlagert. In Benchmarks auf Amazon-EC2-P5en-Instanzen mit AWS EFA liefert er bis zu 3x bessere TTFT und 30 % bessere TPOT.