Ripoti za AI · Amazon · 2026-10-19 · Blogu / maoni
Uhamishaji wa KV unaotegemea push ili kuboresha TTFT na TPOT kwa makisio yaliyotenganishwa katika vLLM
Kichwa asilia: Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
Utengano wa prefill-decode wa vLLM unahitaji kuhamisha akiba ya KV kati ya instances za injini, jambo linaloathiri muda hadi tokeni ya kwanza. Chapisho hili linaanzisha kiunganishi cha NIXL kinachotegemea push ambacho huondoa uratibu wa uhamishaji kwenye njia muhimu. Katika majaribio ya kulinganisha kwenye Amazon EC2 P5en instances zenye AWS EFA, kinatoa TTFT bora hadi mara 3 na TPOT bora kwa 30%.