Trail of Bits 指出 1Password AI 补丁基准存在设计偏差

OmniTools 9月15日消息，安全研究公司 Trail of Bits 发布分析指出，1Password 于8月6日发布的 FLAWED 报告中宣称的 26% AI 干净修复率存在显著偏差。该偏差源于四项实验设计选择：22% 的测试样本使用了刻意引导智能体应用错误修复的提示词；36% 的试验禁用编译验证；此外还存在推理档位设置不一致等问题。

Trail of Bits 同步公开了两个经人工验证的补丁案例，用于评估 AI Agent 在真实漏洞修复任务中的实际能力。相关分析未质疑 AI 辅助修复的技术潜力，但强调基准测试需具备可复现性与公平性。