四次对比里,只有一次组队明显更好

The Decoder 报道,评测公司 Vals AI 在 Vibe Code Bench 上比较了单智能体和智能体团队。模型是 GPT-6 Sol 和 Claude Opus 5.5,推理档位分中等和最高。团队花费是单智能体的 1.8 倍到 5.1 倍。

四组对比里,只有一组有统计上显著的提高:GPT-6 Sol 在中等推理档,团队高出 7.3 分。开到最高推理档,Sol 和 Opus 5.5 的团队都没有真正优势。报道据此说,在这些测试里,团队多出来的花费大多换不来更好的结果,模型已经用满算力时尤其如此。

[1]
一叠高的圆片旁边一叠矮的圆片
一叠高的圆片旁边,一叠矮很多的同样圆片。, AI 生成插画,不是新闻照片

人多了更快,分数只挪一点

Anthropic 自己用 Opus 5.5 做的测试也写在这篇报道里。更大的队伍能更快到达某个表现水平,但从 10 个智能体加到 100 个,24 小时之后分数只稍微上升。另一项 ProgramBench 测试里,速度上来的同时,token 用量也更高。

Opus 5.5 的知识库任务上,1 个、10 个、30 个、100 个智能体的分数是 0.53、0.70、0.71、0.74。Lean 定理证明是 0.39、0.66、0.66、0.68。Fable 5.1 在 Lean 上,超过 10 个智能体之后质量涨得更明显,但各项测试仍低于 Opus 5.5。知识库任务上,Fable 从 30 个加到 100 个时,分数还略降。

[1]

这些话不是 Vals 测出来的

OpenAI 研究员 Noam Brown 在 Dwarkesh 播客里说,多智能体主要买到的是速度,不是更好的质量。四个智能体把任务做快一倍,花费也多一倍。到 16 个时,这个格局还在,效率再差一些。他说网页检索和数学比较容易拆开并行,写一部小说则不行。把一万个智能体投到一部小说上,和把一万个人投上去一样没有意义。他也说,数量很大时基本还没人测过,因为太贵。

OpenAI 开发者 Eric Provencher 最近警告不要用智能体群。他说智能体之间的协调会垮,并把这笔损失叫做协调税。这是他的判断,不是 Vals 的测量。

[1]