AI रिपोर्ट्स · Amazon · 2026-10-13 · ब्लॉग / टिप्पणी
Amazon SageMaker AI पर Mixture-of-Experts कर्नेल इंजीनियरिंग
मूल शीर्षक: Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AWS के इंजीनियर Amazon SageMaker AI पर फ़्यूज़्ड Mixture-of-Experts मॉडलों के लिए कर्नेल ऑप्टिमाइज़ेशन का वर्णन करते हैं। इनमें बेहतर WGMMA उपयोग के लिए Swap-AB, FP8 क्वांटाइज़ेशन के लिए Triton बैकएंड रूटिंग, और Triton JIT पुनःसंकलन को हटाना शामिल हैं। मिलकर ये H200 GPU पर 10% तक अधिक थ्रूपुट और पहले टोकन तक पहुँचने के समय में 9% तक तेज़ी प्रदान करते हैं।