OmniTools 10月23日消息，Hugging Face 博客发文介绍 torch-neuronx 模型支持查询工具。此前的文章曾介绍 TorchNeuron——AWS Trainium 的原生 PyTorch 后端（torch-neuronx 包），使 Transformers 能在 Trainium 上运行自身的建模代码；本次介绍的 Space 则用于回答“哪些模型实际可以运行”。
该 Space 设有 Selected、Trending、Downloads 三种视图，每行展示模型测试结果、模型分片所占用的 Trainium 核心数、包含编译在内的运行墙钟时间以及峰值设备内存，并支持选择 neuronx-cc 与 Transformers 的版本。用户选中模型后，可看到测试所用的 Neuron 软件栈、需安装的软件包以及实际运行的 run.py 脚本。目前仅测试 Transformers 模型，范围限于文本生成和图像文本到文本任务，后续计划扩展到 diffusers、sentence transformers 等。
测试在 trn2 实例上进行，按能容纳权重的最少核心数分片，多数模型采用张量并行，缺少张量并行方案的混合专家模型仅使用专家并行；随后生成 32 个 token 并校验，单核时与同一检查点的 CPU 运行结果比对，分片时由一个小评审模型检查英文流畅度。目前只测试能放入 4 块 Trainium2 设备（最多 16 核）的模型，且 PASS 结果不代表吞吐表现或更长文本生成的质量。
所有结果来自公开数据集 aws-neuron/torch-neuronx-model-support，每对 neuronx-cc 与库版本对应一个 Parquet 文件，可直接用 pandas 查询；首次运行需编译计算图，也可按 Space 给出的命令从公共 NEFF 缓存桶同步已编译的图以跳过编译。
