Informes de IA · Amazon · 2026-10-13 · Blog / comentario
Ingeniería de kernels de Mixture-of-Experts en Amazon SageMaker AI
Título original: Mixture-of-Experts kernel engineering on Amazon SageMaker AI
Ingenieros de AWS describen optimizaciones de kernel para modelos fusionados de Mixture-of-Experts en Amazon SageMaker AI. Incluyen Swap-AB para un mejor aprovechamiento de WGMMA, enrutamiento del backend de Triton para la cuantización FP8 y la eliminación de la recompilación JIT de Triton. En conjunto, logran hasta un 10% más de rendimiento y hasta un 9% menos de tiempo hasta el primer token en GPU H200.