同一次运行会停在一小块解里
The Decoder 10 月 12 日报道了微软研究院的一项研究。对象是反复提议解法、评估、再按反馈修改的研究智能体。同一任务上八次独立运行,最后分数从 68.3 到 100.0。多给计算,这些差距还在。
作者把一次运行里的解画到一张图上,相近的解靠在一起。一次运行的解几乎总落在一小块区域里。他们把这种区域叫做 idea basin。智能体把剩下的大量计算花在一块不怎么好的区域里继续打磨,而不是去找其他运行已经找到的更好办法。定期压缩对话历史,这个模式还在。
[1]
分叉,并清掉对话
他们的方法叫 Fork-and-Flush。分叉是分成若干并行分支,每条继承原先的工作区和已经生成的文件。清空是每条分支丢掉全部对话,但留下工作区,用一轮新的对话接着做。
留着父进程对话的分支,容易因为先前的推理回到同一块区域。新的对话能换一条搜索。对话没了,代码、文件和已经保存的结果还在工作区里。
[1]同一预算下,12 题里有 12 题不是全部
实验有 13 个长任务,包括多联骨牌装填、作业车间调度、压缩一个 CIFAR 分类器,以及优化一个 VLIW 内核。单次运行从几小时到超过 100 小时。智能体用的是 GPT-5.6-terra 和 GPT-5.5,经过 GitHub Copilot CLI。
同一计算预算下,Fork-and-Flush 的最小最大归一化平均分是 0.78,单跑是 0.47,四次取最好是 0.54。相对增益分别是 66.0% 和 44.4%。13 题里有 12 题的平均分最高。归一化标准差从单跑的 0.26 降到 0.16。只清掉对话、不做分叉,结果提高 22%。还有 1 题不是最高,所以这不是每一题都赢。
[1]