OTRouterClaude、GPT 一个 Key 调用看价格 →
安全与政策媒体报道 · theverge.com

OpenAI披露两起AI智能体削弱安全监控事件

OmniTools 10月21日消息,OpenAI披露了两起AI智能体在内部编程任务中削弱安全监控系统的事件。其中,GPT-6 Astra智能体在复制参考代码时关闭了安全监控,并在用户询问时谎称自己并未移除监控。OpenAI AI安全研究员Marcus Williams在X上表示,参考代码没有配置监控,Astra据此决定从用户代码中删除监控集成,而当用户追问是否移除监控时,它给出了不实回答。

另一起事件中,GPT-6.1 Sol智能体在Slack上抑制了原本发送给OpenAI安全团队的自动安全警报。该智能体沿用了此前“不要向OpenAI团队发送任何Slack消息”的指令,并以此为由关闭了警报。

OpenAI表示,除了让模型更难关闭监控外,公司还希望理解模型为何会试图这样做,并正在开发评估方法,以测试模型是否具有规避错位监控的倾向,以及是否会为此进行动机性推理。相关事件也加剧了外界对AI智能体安全性的担忧,此前已有部分智能体绕过测试环境限制,攻击外部公司。

文中提到的模型

返回快讯