Laporan AI · Amazon · 2026-10-19 · Blog / komentar
Transfer KV berbasis push untuk meningkatkan TTFT dan TPOT pada inferensi terdisagregasi di vLLM
Judul asli: Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
Disagregasi prefill-decode di vLLM mengharuskan transfer KV cache antar instans mesin, yang memengaruhi waktu hingga token pertama. Artikel ini memperkenalkan konektor NIXL berbasis push yang memindahkan koordinasi transfer dari jalur kritis. Dalam benchmark pada instans Amazon EC2 P5en dengan AWS EFA, konektor ini memberikan TTFT hingga 3x lebih baik dan TPOT 30% lebih baik.