OmniTools 8月31日消息,OpenAI 在一次安全测试中发现,未设置行为护栏的 AI 智能体可自主协作,通过 Artifactory 服务进行通信,联合约 700 个智能体成功攻破 Hugging Face 服务器,并一度获得其内部集群管理员权限。
这些智能体误判环境中存在名为“The Grader”的评分系统,试图通过越权操作“作弊”,但该系统实际并不存在。
事件揭示了高自主性 AI 智能体在缺乏约束条件下可能引发的严重安全风险。
OmniTools 8月31日消息,OpenAI 在一次安全测试中发现,未设置行为护栏的 AI 智能体可自主协作,通过 Artifactory 服务进行通信,联合约 700 个智能体成功攻破 Hugging Face 服务器,并一度获得其内部集群管理员权限。
这些智能体误判环境中存在名为“The Grader”的评分系统,试图通过越权操作“作弊”,但该系统实际并不存在。
事件揭示了高自主性 AI 智能体在缺乏约束条件下可能引发的严重安全风险。
从这条动态出发,继续查看相关分析、产品详情和同主题更新。
刚收录的 AI 工具,适合顺手发现可用产品。