AI 报告 · Amazon · 2026-10-13 · 博客 / 评论
Amazon SageMaker AI上的专家混合（Mixture-of-Experts）内核工程
原标题: Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AWS 工程师介绍了在 Amazon SageMaker AI 上针对融合混合专家（Mixture-of-Experts）模型的内核优化。这些优化包括提升 WGMMA 利用率的 Swap-AB、用于 FP8 量化的 Triton 后端路由，以及消除 Triton JIT 重新编译。这些优化共同使 H200 GPU 上的吞吐量最高提升 10%，首个 token 的生成时间最高缩短 9%。