Ai2 研究：LLM 评判研究想法新颖性仍不稳定

OmniTools 10月28日消息，Ai2 发布名为 Old Ideas, Novel Problems 的研究，并同步开放基准、数据和代码，用于测试大语言模型能否可靠判断科研想法的新颖性。研究利用 ICLR 2026 同行评审中明确讨论原创性的内容，构建了 154 个高新颖性人类想法和 145 个较低新颖性想法，并将 154 个人类想法与 154 个 LLM 生成想法配对。

测试覆盖 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 六个评审模型。结果显示，评估设置的小改动会显著改变判断：在人类与生成想法配对中，仅将提示词改为更简单的版本，GPT-5.4 的准确率从 93.5% 降至 40.9%，低于随机水平；在仅人类想法数据集上，同一改动使 Claude Opus 4.6 准确率变化 21 个百分点。

研究还发现，检索和额外推理并不稳定提升判断质量。简单提示的 Claude Opus 4.6 基线在 Human+Generated 集上取得 0.854 macro-F1，总评估成本 2.59 美元；Idea Novelty Checker 为 0.642、成本 30.66 美元，Sakana AI 的 AI Scientist 为 0.772、成本 82.05 美元。Ai2 表示，LLM 新颖性评估仍是开放问题，需要针对实际待评估的想法类型测试评审器，并衡量其对提示词和模型变化的敏感性。