Laporan AI · Amazon · 2026-10-13 · Blog / komentar
Rekayasa kernel Mixture-of-Experts di Amazon SageMaker AI
Judul asli: Mixture-of-Experts kernel engineering on Amazon SageMaker AI
Para insinyur AWS menjelaskan optimasi kernel untuk model Mixture-of-Experts yang difusikan di Amazon SageMaker AI. Optimasi ini mencakup Swap-AB untuk pemanfaatan WGMMA yang lebih baik, perutean backend Triton untuk kuantisasi FP8, dan penghapusan kompilasi ulang Triton JIT. Bersama-sama, semuanya menghasilkan throughput hingga 10% lebih tinggi dan waktu hingga token pertama hingga 9% lebih cepat pada GPU H200.