Отчёты по ИИ · Amazon · 2026-10-21 · Блог / комментарии
Обучение Qwen3 на AWS Trainium с помощью torchtitan
Оригинальное название: Train Qwen3 on AWS Trainium with torchtitan
В этом материале Qwen3 обучается тремя способами на одном инстансе trn2.48xlarge с помощью torchtitan: через бэкенд моделирования Hugging Face Transformers v5, нативную поддержку Qwen3 в torchtitan и ядра NKI для mixture-of-experts. Один и тот же лаунчер torchrun и структура конфигурации работают без изменений во всех трех вариантах, включая загрузку и сохранение опубликованных safetensors из Hugging Face. TorchNeuron регистрирует Trainium как нативное устройство PyTorch, позволяя torchtitan использовать его через стандартные интерфейсы PyTorch.