Ripoti za AI · Amazon · 2026-10-13 · Blogu / maoni
Uhandisi wa kernel za Mixture-of-Experts kwenye Amazon SageMaker AI
Kichwa asilia: Mixture-of-Experts kernel engineering on Amazon SageMaker AI
Wahandisi wa AWS wanaeleza uboreshaji wa kernel kwa modeli zilizounganishwa za Mixture-of-Experts kwenye Amazon SageMaker AI. Hii inajumuisha Swap-AB kwa matumizi bora ya WGMMA, uelekezaji wa backend ya Triton kwa quantization ya FP8, na kuondoa ukusanyaji upya wa Triton JIT. Kwa pamoja huleta hadi 10% ya uwezo wa juu zaidi wa upitishaji na hadi 9% ya kasi zaidi katika muda wa kupata tokeni ya kwanza kwenye GPU za H200.