AWS Machine Learning Blog· Josh Longenecker·· 4 小时前AI 评分34
在 AWS Trainium 上用 torchtitan 训练 Qwen3
Train Qwen3 on AWS Trainium with torchtitan
AI 导读
AWS 发布教程,演示在单台 trn2.48xlarge(16 颗 Trainium2、64 个逻辑 NeuronCore)上用 torchtitan 训练 Qwen3-4B-Instruct-2507,给出 Transformers v5 后端、torchtitan 原生 Qwen3 和 NKI MoE kernel 三种配置。
来源:AWS Machine Learning Blog · aws.amazon.com