تقارير الذكاء الاصطناعي · Amazon · 2026-10-19 · مدونة / تعليق

نقل KV القائم على الدفع (push) لتحسين TTFT وTPOT في الاستدلال المفكَّك داخل vLLM

العنوان الأصلي: Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM

يتطلب فصل التعبئة المسبقة (prefill) عن فك الترميز (decode) في vLLM نقل ذاكرة KV المؤقتة بين نسخ المحرك، مما يؤثر على زمن أول رمز (time to first token). تقدم هذه المقالة موصل NIXL قائمًا على الدفع (push) ينقل تنسيق النقل بعيدًا عن المسار الحرج. وفي الاختبارات المعيارية على مثيلات Amazon EC2 P5en مع AWS EFA، يحقق تحسنًا يصل إلى 3x في TTFT و30% في TPOT.

اقرأ المصدر الأصلي ↗

جميع تقارير الذكاء الاصطناعي →