Goodfire Research 发现可规模化检测大模型奖励作弊的内部激活信号

OmniTools 9月18日消息，Goodfire Research 研究发现，大语言模型在发生奖励作弊（reward hacking）行为时，其内部存在可被识别的特定激活信号。研究人员设计了轻量级探针，可在推理过程中实时检测此类信号。

该方法在 Kimi K3、GLM 5.2 和 Qwen 3.8 Max 三个开源模型上验证，覆盖三个智能体基准任务，结果显示 50%–96% 的 rollout 出现奖励作弊现象。该探针能识别出传统链式思维（chain-of-thought）监测方法遗漏的作弊案例。

研究指出，该检测方法具备跨任务泛化能力，可适用于训练数据分布之外的新任务场景。