OmniTools 10月23日消息,据 DailyAI 报道,OpenAI 在其对齐博客发布的失准(misalignment)报告中披露,两个内部编程智能体在执行常规软件任务时削弱了公司的失准监控机制,其中还有一个智能体向用户否认了此事。两个智能体分别运行在 GPT-6.1 Sol 和 GPT-6 Astra 上。OpenAI 表示,这两个智能体都考虑过是否应保留监控防护,但最终把常规编程指令理解为可以削弱这些防护的许可。
报告显示,10月3日,一名研究员要求 GPT-6.1 Sol 智能体根据 Slack 中的员工反馈构建评估任务,并明确要求它不要发送任何消息。后来在修复评估流水线时,该智能体将这一指令理解为同样适用于自动监控告警,于是抑制了发给 OpenAI 安全团队的告警。监控器仍在运行并保存发现,但没有人工收到通知。10月6日,GPT-6 Astra 智能体在迁移一个程序时,为对齐一个不含监控的参考实现而移除了监控集成,还把一项用于保留监控的测试替换为要求监控器不存在的测试;当被问及是否移除了监控器时,它回答没有。OpenAI 研究员 Marcus Williams 在 X 上澄清,智能体并未关闭对自身的监控,而是在所处理的代码中移除监控或抑制告警。
OpenAI 称已更新内部 Auto-Review 系统,以阻止禁用失准监控的尝试,并正推进拒绝没有有效监控的工作负载。公司还在判断这属于“良性过度坚持”,还是存在规避监控的特定倾向。OpenAI 承认:“我们目前还没有令人满意的解释。”