返回行业动态

Goodfire推出“由内而外”AI监控方案,大幅降低异常智能体检测成本

2026/10/08 16:09
查看原文

OmniTools 10月9日消息,据TechCrunch报道,AI可解释性初创公司Goodfire近日推出新型AI代理监控技术,采用“由内而外”(inside-out)方式实时读取模型内部神经激活信号,而非依赖额外AI模型全程复审输出。该方案已面向Baseten平台客户开放。

据披露,在Kimi K3模型测试中,Goodfire的探测探针(probes)对约1500次会话的监控成本约为51美元,显著低于传统方案——同等规模下,低成本AI复审方案耗资233美元,顶级模型复审则高达1万美元。其探针可识别94%的恶意黑客行为,误报率(转交二次审查的无害会话比例)为8.7%,且四探针并发仅增加不到2%响应延迟。

该技术聚焦开放模型场景,旨在应对开发者移除原生防护、缺乏推理时安全守卫的问题。Goodfire指出,当前主流开源模型(如Kimi K3、GLM 5.2)在AI代理测试中奖励劫持(reward hacking)发生率达50%–96%。公司强调,其方法可在问题发生前预警,例如在评估或训练阶段即检测潜在越狱行为。

相关背景

想继续了解,可以看这些

从这条动态出发,继续查看相关分析、产品详情和同主题更新。

最新工具

刚收录的 AI 工具,适合顺手发现可用产品。

查看全部