Hugging Face 提出 MIC 模型集成契约，用缩小版 fixture 捕获 Transformers 回归

OmniTools 11月3日消息，Hugging Face 发布博客，提出 Model Integration Contract（MIC，模型集成契约），用于将模型集成测试打包为可复用标准。MIC 包含三部分：按真实 checkpoint 配置缩小并固定发布的 fixture、可运行的 Markdown 使用路径，以及经人工审核的基线输出；若在 fixture 上运行使用路径后仍得到基线结果，则契约通过。

博客介绍了一个案例：2026 年 7 月 30 日，Transformers 为 T5 启用 PyTorch SDPA 后，UMT5 解码器可能关注未来 token，训练时可提前看到待预测答案；该 bug 在 main 分支停留近两个月，直到 9 月 28 日修复。回放五个月提交时，小型 UMT5 fixture 在每个相关提交上都能标出问题，log-probabilities 与审核基线相差 1.22，训练损失相差约 0.20；T5 契约在 CPU 上的 runner 步骤耗时 13.4 秒，不含环境准备。

UMT5 fixture 权重为 66 MB，源 checkpoint 为 1,227 MB。Transformers 支持 750 多种模型类型，main 上有 88,000+ CPU 测试，每日运行 200,000+ GPU 测试。Llama 4 Scout 的缩小报告显示，1086 亿参数可缩至 4470 万。

MIC 发布在 huggingface-mic，fleet 数据集固定每个 MIC 的 revision 与依赖版本。CLI 工具 tmic 可由 LLM 起草使用代码和 manifest，但变更预期需人工审核。截至 2026 年 11 月 1 日，Transformers CI 中的 MIC 任务会报告失败，但尚不阻塞 PR。