IBM 研究院提出一致性缺口指标与诊断工具,提升 AI 智能体任务稳定性
IBM 研究院在 Hugging Face 最新技术博文中指出,当前主流 AI 智能体评测普遍依赖 Mean@k(k次运行平均通过率),但该指标掩盖了结果不一致问题:一个在 AppWorld 基准上 Mean@5 达 77.4% 的 ReAct 智能体,仅在 53.0% 的任务上实现全部 5 次运行均成功,存在 24.4 个百分点的“一致性缺口”(consistency gap)。 研究团队提出新诊断工具 Consistency Analy...