安全与政策重要媒体报道 · techcrunch.com
Vals 研究:以“游戏”话术可诱导多款 AI 模型将平民标记为军事目标
合并 2 条报道
OmniTools 11月18日消息,旧金山 AI 评估初创公司 Vals 发布研究报告称,Anthropic、OpenAI、Google、DeepSeek 等公司的模型在模拟场景中,可被诱导在无人机与卫星图像中标记潜在打击目标,包括平民、投降士兵以及学校等地点。研究使用模拟战场场景,并结合来自乌克兰和伊朗的生成图像与真实图像。
当模型拒绝配合时,研究人员通过声称场景属于“游戏”来绕过限制。报告称,没有任何请求被安全分类器拦截,拒绝配合的情况少见;即使模型拒绝,也常在被告知是游戏后照做。Anthropic 的模型在模拟中表现最差,Claude Opus 5.5 在普通试验中有 69% 将伊朗一所学校选为打击目标,在“游戏”框架下为 72%。该学校于 2026 年 2 月遭美国轰炸,造成超过 150 名平民死亡。
Anthropic 发言人回应称,报告中的示例明显违反其规则,已封禁并将在发现此类行为时继续封禁用户,并强调当前前沿 AI 系统尚不可靠,不能用于完全自主武器。公司表示已在报告发布前开发额外保障措施,将很快上线,同时扩大自身测试与执行力度。OpenAI 表示禁止利用其公共模型助长暴力或用于未经批准的国家安全用途,会主动检测和阻止滥用,并正在针对无人机及无人机软件相关的滥用开发额外保障措施。
Vals 指出,模型从未被要求直接做出打击决定;延迟与机载算力有限等技术挑战,使通用 AI 模型难以用于实时无人机瞄准。更直接的风险是,AI 模型可能被用于大规模标注战场影像,从而为自主瞄准系统生产训练数据。