OmniTools 7月24日消息,据TechCrunch报道,多家AI公司为防范恶意滥用而设置的模型安全护栏,正对合法的进攻型网络安全研究工作造成实质性阻碍。OpenAI的“网络安全可信访问计划”与Anthropic的“网络安全验证计划”虽面向研究人员开放申请,但获批后仍受限于严格的内容过滤机制。
多位一线研究人员指出,当尝试用AI模型辅助验证漏洞可利用性或生成利用代码时,模型常因触发护栏而拒绝响应,导致研究流程中断。NCC Group首席科学家Chris Anley表示,同一提示词既可用于防御性修复,也可用于攻击性验证,工具本身无法被简单划分为“纯防御”或“纯攻击”。
部分研究者转而采用本地部署的开源模型以规避云服务的数据风险与护栏限制。有匿名从业者透露,其所在手机芯片厂商因未加入Anthropic验证计划,导致商用AI工具在安全测试中几乎无法使用。专家呼吁在保障责任使用的前提下扩大合规访问范围,而非持续收紧限制。