Rohan Paul

英伟达新论文显示：在智能体一次运行的每一步都给基座模型打分，效果反而不如只在「第一次让测试通过的那次编辑」上打分。 后训练很贵，所以选对基座模型很重要。可智能体基准里基座模型几乎都接近零分，简单编程测试也几乎预测不了后来的智能体能力。 他们回放一个强智能体的成功轨迹，并在每次编辑后重跑测试，找到第一次让测试通过的那次编辑。在这个关键步骤上，他们检验基座模型是否偏好该编辑、能否相对失败编辑选中它，以及能否写出一个能通过的编辑。 各基座模型写出「那次精确编辑」的概率，对 10 个模型的排序，与它们后训练后的 SWE-bench Verified 分数一致，相关系数达 0.964。 若要选一个基座模型去做智能体方向的后训练，先跑这个检查。它只需要基准里成功的智能体运行记录及其测试。