OmniTools 8月29日消息,Anthropic 研究员陈岳翰(Chen Yueh-Han)领衔的团队发布论文《Automated Researchers Can Reliably Mitigate Alignment Failures》,展示了一种名为“自动化对齐研究员”(AAR)的系统。
该系统在10项特定错位行为基准测试中,全部实现性能提升,且未损害模型整体性能。其工作流程模拟人类研究:检索文献、提出方法、30分钟内完成训练迭代,并保留有效方法、淘汰无效方法。
论文指出,最佳AAR方法平均六小时内超越经验丰富的研究人员所提方案;单小时运行成本约4美元,远低于人类研究员每小时150美元的成本。研究同时强调,该方法依赖基准质量与文献库完备性,尚存局限。