AI2 发布 XYBench 基准：用 8,115 个问题测试 AI 助手能否识别用户错误前提

OmniTools 11月14日消息，AI2 联合卡内基梅隆大学、NVIDIA 和约翰斯·霍普金斯大学的研究人员发布基准测试 XYBench，用于评估 AI 助手在面对带有错误前提的提问时，能否识别出用户真正想解决的问题。该基准包含 8,115 个真实问题，覆盖编程与烹饪、家居维修等日常场景，并获得 EMNLP 2026 最佳资源论文奖。

XYBench 针对的是“XY 问题”：用户想达成目标 X，却认定某种做法 Y 可行，于是直接就 Y 求助。基准数据来自四个渠道：Stack Overflow 1,557 个问题、Stack Exchange 184 个、人工整理 102 个，以及基于 WikiHow 指南生成的 6,272 个问题。每个问题都标注了用户表面提出的请求（Y）与隐含的真实目标（X），并从解决方案覆盖、回答侧重点、错误前提识别三个维度打分，由 Claude Sonnet 4.5 担任自动评判，两名人工评审对 500 条回答的复核一致率在 74.2% 至 100% 之间。

在单轮测试中，Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 五个模型普遍更倾向于回答用户表面提出的请求。在 Stack Overflow 来源上，75% 至 86% 的回答给出了针对表面请求的解决方案，针对真实目标的为 59% 至 71%；仅 35% 至 41% 的回答以真实目标为重点，47% 至 57% 则以表面请求为重点。在直接告知用户真实目标的对照实验中，Sonnet 4.6 给出真实目标解决方案的比例从 59% 升至 67%，但错误前提识别率从 47% 降至 34%。另一项让模型在两条回答中做选择的测试显示，六个模型在 71% 至 84% 的情况下能挑出聚焦真实目标的答案，说明“识别有用建议”与“生成有用建议”之间存在明显差距。研究团队表示，XYBench 目前仅覆盖英文查询和以流程性为主的问题，后续可扩展至其他语言与对话场景。