AI رپورٹس · Amazon · 2026-10-12 · بلاگ / تبصرہ
Ray LLM Deep Learning Containers کے ذریعے ملٹی نوڈ انفرنس ورک لوڈز چلائیں
اصل عنوان: Run multi-node inference workloads using Ray LLM Deep Learning Containers
یہ پوسٹ دکھاتی ہے کہ multi-node Ray LLM Deep Learning Containers کا استعمال کرتے ہوئے Amazon EKS پر دو GPU نوڈز میں ایک بڑا لینگویج ماڈل کیسے ڈیپلائے کیا جائے۔ Prefill اور decode الگ الگ نوڈز پر چلتے ہیں اور ایک ہی OpenAI-compatible اینڈ پوائنٹ کے پیچھے ہوتے ہیں۔ پہلے سے بنے کنٹینر میں مکمل انفرینس اسٹیک شامل ہے، لہٰذا آپ اسے خود جوڑنے کے بجائے صرف ڈیپلائمنٹ کی کنفیگریشن کرتے ہیں۔