Rapports sur l'IA · Amazon · 2026-10-13 · Blog / commentaire
Ingénierie de noyaux Mixture-of-Experts sur Amazon SageMaker AI
Titre original: Mixture-of-Experts kernel engineering on Amazon SageMaker AI
Des ingénieurs d'AWS décrivent des optimisations de noyaux pour les modèles Mixture-of-Experts fusionnés sur Amazon SageMaker AI. Elles comprennent Swap-AB pour une meilleure utilisation de WGMMA, le routage du backend Triton pour la quantification FP8 et la suppression de la recompilation JIT de Triton. Ensemble, elles offrent jusqu'à 10 % de débit en plus et jusqu'à 9 % de réduction du délai avant le premier token sur les GPU H200.