AI رپورٹس · Amazon · 2026-10-13 · بلاگ / تبصرہ
Amazon SageMaker AI پر Mixture-of-Experts کرنل انجینئرنگ
اصل عنوان: Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AWS کے انجینئرز Amazon SageMaker AI پر فیوزڈ Mixture-of-Experts ماڈلز کے لیے کرنل اصلاحات بیان کرتے ہیں۔ ان میں WGMMA کے بہتر استعمال کے لیے Swap-AB، FP8 کوانٹائزیشن کے لیے Triton بیک اینڈ روٹنگ، اور Triton JIT کی دوبارہ کمپائلیشن کا خاتمہ شامل ہیں۔ مل کر یہ H200 GPUs پر 10% تک زیادہ تھروپٹ اور پہلے ٹوکن تک 9% تک کم وقت فراہم کرتی ہیں۔