Laporan AI · Amazon · 2026-10-21 · Blog / komentar
Melatih Qwen3 di AWS Trainium dengan torchtitan
Judul asli: Train Qwen3 on AWS Trainium with torchtitan
Postingan ini melatih Qwen3 dengan tiga cara pada satu instance trn2.48xlarge dengan torchtitan: backend pemodelan Hugging Face Transformers v5, Qwen3 native milik torchtitan, dan kernel mixture-of-experts NKI. Launcher torchrun dan struktur config yang sama bekerja tanpa perubahan pada ketiga jalur tersebut, termasuk memuat dan menyimpan safetensors Hugging Face yang telah dipublikasikan. TorchNeuron mendaftarkan Trainium sebagai perangkat PyTorch native, sehingga torchtitan dapat menggunakannya melalui antarmuka standar PyTorch.