OmniTools 10月29日消息,据 Surge AI 官方博客消息,Surge AI 发布名为 DAYJOB: Tax 的新基准,用于评估 AI 代理处理专业税务工作的能力。根据公开摘要,该基准包含 50 个环境、1,789 个文件,覆盖八个税务领域。
该基准要求 AI 代理从客户初始请求开始,一直处理到最终交付物,过程中需应对不完整说明、冲突记录以及未被明确提出的关键问题。
评估采用 95% rubric 阈值的 pass@1 指标。结果显示,Claude Sonnet 5.5 以 10.8% 的通过率居首,Claude Fable 5.1 为 9.6%,Claude Opus 5.5 为 9.2%。