Hugging Face 推出 Trainium 模型支持查询 Space

Hugging Face 上线 torch-neuronx 模型支持查询 Space，用于查询 Hub 上的模型能否在 AWS Trainium 上原样运行，并给出复现脚本。 据 Hugging Face 说明，该 Space 目前只测试 Transformers 模型，范围限于文本生成和图文转文本模型，且只测试能放进 4 台 Trainium2 设备（最多 16 核）的模型。测试结果为 PASS 不代表吞吐量或更长生成的表现。用户可从公开的 NEFF 缓存桶复制测试时同一编译器生成的图，以跳过编译步骤。

AI 根据报道生成 · 4 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。