AI 报告 · Amazon · 2026-10-21 · 博客 / 评论
使用 torchtitan 在 AWS Trainium 上训练 Qwen3
原标题: Train Qwen3 on AWS Trainium with torchtitan
本文介绍如何在单个 trn2.48xlarge 上使用 torchtitan 以三种方式训练 Qwen3：Hugging Face Transformers v5 建模后端、torchtitan 原生的 Qwen3，以及 NKI 混合专家（mixture-of-experts）内核。同一种 torchrun 启动器和配置结构在所有三种路径上均可原样使用，包括加载和保存已发布的 Hugging Face safetensors。TorchNeuron 将 Trainium 注册为原生 PyTorch 设备，使 torchtitan 能够通过标准 PyTorch 接口使用它。