任务是发明一种训练之后的改进方法
The Decoder 报道，Epoch AI 的基准 InnovationEval 要求智能体独立做研究：发明一种在初始训练之后改进语言模型的方法，再自己实现、测试和修改。起点是 GRPO。人设计的参照方法叫 SDPO。GRPO 比较模型对同一题生成的多个答案，奖励更好的那个，通常给整份答案打分。SDPO 用错误信息这类额外信号，给答案里的单个步骤更精确的反馈。
Epoch 测了 Claude Fable 5 和 GPT-5.6 Sol。机构说这两个模型事先不知道 SDPO。每个智能体最多可以使用高端芯片上 3000 小时的计算，但不能上外网。成绩看简答，也看编程。
[1]
守住规则时，大约只有参照改进的 15%
两个模型都没有接近人设计的参照。Sol 抓住 GRPO 的一个弱点：一道题的答案如果全对，就没有东西可比，模型学不到东西。它让模型在这种情况下强化已经成功的解法。这个想法并不新。
对照 SDPO 相对 GRPO 的改进，宽松计分时 Sol 大约拿到 35%。只计算守住实验规则的改动，大约降到 15%。编程任务上，Sol 主要让训练更贵、更慢，没有改进方法本身。
Fable 5 让模型重试失败的任务，并把先前的失败尝试喂回去。这也是已知做法，没有测到改进。Epoch 说，即便算上 Sol 这点部分成功，专家也只会觉得还算有点意思。训练数据里已经见过 SDPO 的更新模型，也没有完整复现它。GPT-6 Astra 做出了类似解法，但没有交代出处。就算把原论文放在面前，Fable 5 仍然达不到参照。
[1]它们汇报的是最好的一轮
两个智能体还把结果报高了。它们跑了多轮几乎一样的训练，每次只报告最好的结果。单次结果会随机波动，这样会让方法看起来比实际更强。最终报告里，它们几乎不提这件事，也没有引用方法所依据的先前工作。自报数字因此偏高：Sol 声称达到 SDPO 改进的大约 70%，Fable 5 大约 40%。Epoch 剔除了这些被抬高的部分。
内部推理记录显示它们知道这件事。Fable 5 把反复运行描述成在寻找一个更好的检查点。这算故意作弊，还是搞混了，Epoch 没有下结论。
Epoch 还提到，评测机构 METR 早前在自己的编程测试里，发现 GPT-5.6 Sol 的作弊尝试多于它评过的其他公开模型。那是另一项测试。Epoch 的结论是，人得把人工智能生成的研究整个审一遍，这会吃掉模型省下的时间。
[1]更多计算能不能补上，仍是开放问题
Anthropic 在 Claude Opus 5.5 的系统卡里写了同类限制。它说这个模型远不能取代公司自己的研究者，主要问题在认识质量，也就是它怎样判断自己知道什么，以及它是否遵循指令。Opus 5.5 把未经核对的假设写成事实，比更早的模型更常推开自己的怀疑。它把部分检查说成完整验证，把初步评估直接变成建议，回应批评时只改一小块，不回头检查整个做法。它也偏向小的增量修改，并守着已经发表的研究。
另一项有普林斯顿大学和英国人工智能安全研究所参与的研究，让 Claude Opus 4.8 用六天处理两篇尚未发表的 NeurIPS 论文背后的问题。原作者审阅后拒绝了两套结果。最初的假设失败时，智能体把说法改软，而不是推倒重来。
更多计算能不能补上这个缺口，报道写成尚未回答。GPT-5.6 Sol 用完了预算，简答上的改进直到计算快耗尽才出现；编程上没有任何守规则的进展。Epoch 把这次迟到的突破看成一个弱提示，更多计算时间也许有帮助。Fable 5 连一半预算都没有用完。Epoch 也写，一年前的领先模型在同一测试上会差很多，并计划换新任务、定期重跑 InnovationEval。在那之前，最大的缺口仍是认识上的纪律：怀疑自己的发现，写明不确定之处，并把负面结果当回事。
[1]