OmniTools 10月4日消息，微软与Hugging Face联合发布ThinkingBox评测框架，聚焦AI智能体在真实业务场景中执行任务后的终端数据库状态与预期是否一致，而非仅依赖工具调用日志或自然语言响应判断结果。该工具已在Hugging Face平台开源。
ThinkingBox在507个有状态业务工作流（涵盖零售、汽车保险、旅行、新银行、咨询五大领域）上，对18款主流大模型开展20次重复测试，评估其终端后台状态变更、副作用等可执行验证指标。结果显示，多数模型单次成功率（pass@1）与20次全通过率（observed 20/20）差距显著——例如Claude Opus 5.5整体pass@1为67.16%，但仅241项任务（47.53%）实现20/20全通过。
研究同时量化了“一致性成本”：GPT-5.4以6.80美元/可信赖任务的成本最低；GPT-6 Astra与Claude Opus 5.5分别以7.45美元和7.80美元位列第二、第三，三者构成帕累托最优前沿。项目代码及基准任务已通过OpenEnv开放，支持本地运行。
