AI 報告 · Amazon · 2026-10-13 · 部落格／評論
在 Amazon SageMaker AI 上進行混合專家（Mixture-of-Experts）核心工程
原標題: Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AWS 工程師介紹了在 Amazon SageMaker AI 上針對融合式專家混合（Mixture-of-Experts）模型所做的核心（kernel）最佳化，包括為提升 WGMMA 使用率而採用的 Swap-AB、針對 FP8 量化的 Triton 後端路由，以及移除 Triton JIT 重新編譯。這些最佳化合計在 H200 GPU 上可提升最多 10% 的吞吐量，並使首個 token 的產生時間最多加快 9%。