Relatórios de IA · Amazon · 2026-10-13 · Blog / comentário
Engenharia de kernels Mixture-of-Experts no Amazon SageMaker AI
Título original: Mixture-of-Experts kernel engineering on Amazon SageMaker AI
Engenheiros da AWS descrevem otimizações de kernel para modelos Mixture-of-Experts fundidos no Amazon SageMaker AI. Elas incluem Swap-AB para melhor utilização de WGMMA, roteamento de backend Triton para quantização FP8 e a remoção da recompilação JIT do Triton. Juntas, entregam até 10% a mais de throughput e até 9% menos tempo até o primeiro token em GPUs H200.