安全与政策媒体报道 · theverge.com已有官方发布
OpenAI 发布 CSAM 分类器:可识别 AI 生成图像,误报减少 48%
合并 2 条报道
OmniTools 11月17日消息,OpenAI 在华盛顿特区的一场新闻发布会上宣布推出一款分类器工具,称可更有效地识别儿童性虐待图像,并判断图像是否由 AI 生成。该工具将向经过审核的机构免费开放;OpenAI 同时表示会为开发者提供识别此类内容的指引,并协助培训执法部门使用 AI 开展调查。
OpenAI 称,该分类器将误报图像数量减少 48%,其识别出的图像中含虐待材料的可能性提高一倍,并可识别由开源模型、脱衣类应用等多种工具生成的图像。OpenAI 儿童安全公共政策负责人 John Buckley 表示,这是首个广泛可用、并带有 AI 生成内容专门标记的 CSAM 分类器。
美国国家失踪与受虐儿童中心(NCMEC)的 CyberTipline 热线 2025 年收到 40 万条与生成式 AI 相关的举报,较 2024 年的 6.7 万条大幅增长。
在 ChatGPT 方面,用户若尝试生成此类内容,将看到新的警示提示;首次违规将触发 24 小时访问暂停,并提示账户可能被永久关闭,同时提供求助资源。OpenAI 表示会向 NCMEC 报告所有 CSAM 实例。