TorchNeuron 为 AWS Trainium 提供原生 PyTorch 后端

TorchNeuron 是 AWS Trainium 的原生 PyTorch 后端插件，自 2026 年 10 月 20 日起进入公开测试，可通过 pip install torch-neuronx 安装。它支持 eager 执行、torch.compile 和原生分布式接口（DTensor、FSDP2），取代了基于 PyTorch XLA 的 Optimum Neuron 方案。Hugging Face 建议 Neuron 用户直接使用 Transformers、Diffusers、Accelerate、PEFT 和 TRL，而不再经过 Optimum Neuron。 在推理侧，用户只需传入 device_map=neuron，Transformers 即可把模型加载到 Neuron 设备；前 100 个最常用文本生成架构中，89% 可开箱支持，此前 Optimum Neuron v0.4.5 为 46%。Diffusers 中 FLUX.1-dev、FLUX.2、Qwen-Image 等管道支持张量并行。 在训练侧，使用 TRL 的 SFTTrainer 时，只需在 model_init_kwargs 中设置 DistributedConfig 的 tp_size 和 fsdp_size，Trainer 便按 TP×FSDP 网格分片权重，无需 --fsdp 标志或 Accelerate 配置。示例在 8 颗 Trainium2 芯片（32 个 NeuronCore）上完成训练，保存的是标准 Transformers 检查点，可直接上传 Hub 并在其他硬件加载。需要注意：Neuron 暂不支持 Dynamo 自动动态形状，需关闭 HF_DEACTIVATE_ASYNC_LOAD=1，且批次会填充到 128 token 的倍数。