要点
- Ai2 发布论文 Old Ideas, Novel Problems，并开源 Novelty Bench、数据与代码，检验 LLM 作为“新颖性裁判”的可靠性。
- 在六种前沿模型上，仅改动几句提示词即可让同一对想法的新颖性判定准确率波动超过 50 个百分点（一例：93.5%→40.9%）。
- 检索与加长推理并不稳定增益；两套专用新颖性系统甚至弱于简单提示的 Claude Opus 4.6 基线。
自动科研叙事里，最常被外包给另一个大模型的环节，是判断一个想法“够不够新”。Ai2 在 2026年10月27日发布的研究指出：这个裁判本身远未可靠。
论文与配套基准 Novelty Bench 的核心论点是——新颖性评估对提示词、格式与设定高度敏感；若裁判会因几句话翻转判决，那么用 LLM 筛选 AI 生成科研想法的管线，就会把噪声当成科学进步。
[1]团队围绕 ICLR 2026 同行评审构建自动化管线：从评审意见中挖掘明确讨论原创性的段落，而非用录用结果代理新颖性。高新颖池含 154 个被领域前 10% 录用且评审一致肯定新颖性的人类想法；低新颖池含 145 个被拒且评审提出原创性质疑的想法。另设 Human+Generated：同一批人类想法配对仅给领域与“请提出新颖想法”指令的简易 LLM 生成物。
测试覆盖 GPT-5.1/5.2/5.4 与 Claude Sonnet 4.5、Opus 4.5/4.6，逐项改动提示、推理预算、是否可见相关论文、想法格式与投票聚合方式。
[1]最大波动来自提示措辞。对 Human+Generated，告诉模型“每对恰有一个新颖”再让其挑选，GPT-5.4 准确率 93.5%；改为笼统问“哪个新颖”，准确率跌至 40.9%（低于随机），且半数以上配对判决翻转。同一提示变化在 Human-Only 上仅约 7 个百分点。
评审挖掘的极性与人工核对在 50 例中 47 例一致；专家抽查 30 对 Human+Generated 全部偏好人类想法。论文、数据（Hugging Face）与代码（GitHub allenai/novelty-eval）一并公开。
[1]钢人反驳：Human+Generated 假设生成想法更不新颖，标签偏弱；若任务改为“找可发表方向”而非两两比较，提示敏感性可能下降。专用系统落后也可能是实现未对齐，而非类别失败。
仍待核验：完整失败案分析、检索语料覆盖偏差，以及把想法改写为统一结构后风格捷径的消融是否覆盖全部模型。事实置信度高（开源可复现）；外推到实验室日常审稿流程置信度中等。
[1]对 AutoDiscovery 类系统，瓶颈可能不在假设生成，而在评价器校准。对基金与会议，用 LLM 初筛“新颖性”而不固定协议，会系统性奖励提示工程而非研究贡献。
[1]未来六个月应看：是否出现带锁定提示、固定检索与人类抽检的新颖性评估协议；以及在协议锁定后，生成器是否还能靠换裁判刷分。若不能，自动科研的可信度会真正前进一步。
[1]