OmniTools 8月14日消息,Hugging Face 于 2026 年 7 月 15 日至 8 月 2 日发起 ICML 2026 开放复现挑战,组织超 1200 名社区成员使用 Claude Code、Codex、Cursor 等编码智能体,对 ICML 2026 接收的 6341 篇论文中的 2226 篇(占比约 34%)开展逐项声明级复现。活动共生成 6816 份可审计的 Trackio 日志本,涵盖 35908 项科学主张的验证结果。
结果显示:51% 的被检论文至少有一项主张获独立验证,其中 266 篇实现全声明验证;23% 的论文存在至少一项被证伪或存争议的主张,包括 49 篇全部主张被证伪,以及 242 篇不同团队对同一主张得出相反结论的情况。典型问题包括数学证明在长程实验中失效、理论与代码实现不一致(如 KL 散度方向错误)、评估因填充 token 被系统性高估等。
所有复现日志、判据数据集及 274 份完整智能体执行轨迹均已开源。Hugging Face 已向相关论文作者发送验证结果,目前已有作者确认错误并更新 arXiv 版本。