تقارير الذكاء الاصطناعي · Amazon · 2026-10-12 · مدونة / تعليق

تشغيل أحمال الاستدلال متعددة العُقد باستخدام حاويات Ray LLM للتعلم العميق

العنوان الأصلي: Run multi-node inference workloads using Ray LLM Deep Learning Containers

يوضح هذا المنشور كيفية نشر نموذج لغوي كبير واحد عبر عقدتين من وحدات معالجة الرسومات على Amazon EKS باستخدام حاويات Ray LLM Deep Learning Containers متعددة العقد. يعمل الملء المسبق وفك الترميز على عقدتين منفصلتين خلف نقطة نهاية واحدة متوافقة مع OpenAI. تتضمن الحاوية المبنية مسبقًا حزمة الاستدلال كاملة، لذا تقوم بضبط النشر بدلًا من تجميعه.

اقرأ المصدر الأصلي ↗

جميع تقارير الذكاء الاصطناعي →