KI-Berichte · Amazon · 2026-10-13 · Blog / Kommentar
Kernel-Engineering für Mixture-of-Experts auf Amazon SageMaker AI
Originaltitel: Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AWS-Ingenieure beschreiben Kernel-Optimierungen für fusionierte Mixture-of-Experts-Modelle auf Amazon SageMaker AI. Dazu gehören Swap-AB für eine bessere WGMMA-Auslastung, Triton-Backend-Routing für FP8-Quantisierung und die Vermeidung der Triton-JIT-Neukompilierung. Zusammen erzielen sie bis zu 10 % höheren Durchsatz und bis zu 9 % schnellere Zeit bis zum ersten Token auf H200-GPUs.