Отчёты по ИИ · Amazon · 2026-10-13 · Блог / комментарии
Разработка ядер Mixture-of-Experts в Amazon SageMaker AI
Оригинальное название: Mixture-of-Experts kernel engineering on Amazon SageMaker AI
Инженеры AWS описывают оптимизации ядер для объединённых моделей Mixture-of-Experts на Amazon SageMaker AI. Среди них — Swap-AB для лучшего использования WGMMA, маршрутизация бэкенда Triton для квантизации FP8 и устранение перекомпиляции Triton JIT. Вместе они обеспечивают до 10% более высокую пропускную способность и до 9% более быстрое время до первого токена на GPU H200.