Ripoti za AI · Amazon · 2026-10-19 · Blogu / maoni
Boresha TTFT kwa mizigo ya kazi ya kiwakala ya zamu nyingi kwa uhamishaji wa KV wa pande mbili katika vLLM
Kichwa asilia: Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
Mizigo ya kazi ya kiwakala ya zamu nyingi huchakata upya muktadha unaokua wa mazungumzo kila zamu, jambo linalongeza ucheleweshaji. Chapisho hili linaeleza uhamishaji wa akiba ya KV wa pande mbili, unaoruhusu nodi za prefill na decode kutumia tena muktadha uliokokotolewa awali katika zamu mbalimbali. Kwenye Amazon EC2 P5en instances zenye EFA, unapunguza muda hadi tokeni ya kwanza kwa hadi mara 1.6 kwa Qwen3-32B na hadi mara 3.3 kwa GLM-5-FP8.