AI रिपोर्ट्स · Amazon · 2026-10-19 · ब्लॉग / टिप्पणी
vLLM में डिसएग्रीगेटेड इन्फ़रेंस के लिए TTFT और TPOT सुधारने हेतु पुश-आधारित KV ट्रांसफ़र
मूल शीर्षक: Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
vLLM का प्रीफ़िल-डिकोड डिसएग्रीगेशन इंजन इंस्टेंस के बीच KV कैश के ट्रांसफ़र की मांग करता है, जो पहले टोकन तक के समय को प्रभावित करता है। यह पोस्ट एक पुश-आधारित NIXL कनेक्टर प्रस्तुत करती है जो ट्रांसफ़र समन्वय को क्रिटिकल पाथ से हटा देता है। AWS EFA वाले Amazon EC2 P5en इंस्टेंस पर बेंचमार्क में, यह TTFT में 3x तक और TPOT में 30% तक बेहतर प्रदर्शन देता है।