تقارير الذكاء الاصطناعي · Amazon · 2026-10-19 · مدونة / تعليق

تحسين TTFT لأحمال العمل الوكيلية متعددة الأدوار عبر نقل KV ثنائي الاتجاه في vLLM

العنوان الأصلي: Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM

تعيد أحمال العمل الوكيلية متعددة الأدوار معالجة سياق محادثة متنامٍ في كل دور، مما يزيد زمن الاستجابة. تصف هذه المقالة نقل ذاكرة KV المؤقتة ثنائي الاتجاه، الذي يتيح لعقد التعبئة المسبقة (prefill) وعقد فك الترميز (decode) إعادة استخدام السياق المحسوب سابقًا عبر الأدوار. وعلى مثيلات Amazon EC2 P5en مع EFA، يخفض هذا الأسلوب زمن أول رمز (time to first token) بما يصل إلى 1.6x لنموذج Qwen3-32B وبما يصل إلى 3.3x لنموذج GLM-5-FP8.

اقرأ المصدر الأصلي ↗

جميع تقارير الذكاء الاصطناعي →