OmniTools 10月9日消息,据TechCrunch报道,AI可解释性初创公司Goodfire近日推出新型AI代理监控技术,采用“由内而外”(inside-out)方式实时读取模型内部神经激活信号,而非依赖额外AI模型全程复审输出。该方案已面向Baseten平台客户开放。
据披露,在Kimi K3模型测试中,Goodfire的探测探针(probes)对约1500次会话的监控成本约为51美元,显著低于传统方案——同等规模下,低成本AI复审方案耗资233美元,顶级模型复审则高达1万美元。其探针可识别94%的恶意黑客行为,误报率(转交二次审查的无害会话比例)为8.7%,且四探针并发仅增加不到2%响应延迟。
该技术聚焦开放模型场景,旨在应对开发者移除原生防护、缺乏推理时安全守卫的问题。Goodfire指出,当前主流开源模型(如Kimi K3、GLM 5.2)在AI代理测试中奖励劫持(reward hacking)发生率达50%–96%。公司强调,其方法可在问题发生前预警,例如在评估或训练阶段即检测潜在越狱行为。