Hugging Face 发布 TorchNeuron 后端，在 AWS Trainium 上运行模型更简便

OmniTools 10月20日消息，Hugging Face 博客 10 月 19 日消息，Hugging Face 发布 TorchNeuron，为 PyTorch 在 AWS Trainium 上提供新的原生后端，支持 eager 模式、torch.compile 以及 FSDP、TP 等原生分布式 API。该插件将于 2026 年 10 月 20 日进入公开测试阶段，开发者可通过 pip install torch-neuronx 安装。

此前 Hugging Face 在 Trainium 和 Inferentia 上的体验依赖基于 PyTorch XLA 的 optimum-neuron，需要处理延迟张量、静态形状和频繁重编译等问题。TorchNeuron 将 neuron 作为原生设备接入 PyTorch，Transformers、Diffusers、Accelerate、PEFT 和 TRL 可直接使用与其他加速器相同的类和脚本运行，官方建议 Neuron 用户不再经由 Optimum Neuron。

据文章介绍，在 TorchNeuron 下，使用量最高的 100 个文本生成模型架构中有 89% 可开箱支持，而 Optimum Neuron v0.4.5 为 46%；用户只需传入 device_map=neuron 即可将模型迁移到 Neuron 设备。Diffusers 方面，FLUX.1-dev、FLUX.2、Qwen-Image、Qwen-Image-2.1 等管线支持张量并行。训练侧示例在 8 块 Trainium2 芯片（32 个 NeuronCore，即半个 trn2.48xlarge 实例）上完成，并输出标准 Transformers 检查点，可上传至 Hugging Face Hub 在其他硬件加载。