做对的是计算题,不是悬着的大问题

The Decoder 10 月 15 日报道,35 名研究者放出 TheoPhysEval。机构包括国际理论科学中心、哈佛大学、鲁汶大学和 Google DeepMind。发布时间是世界时 15:24,北京时间晚上 11 点 24 分。基准有 50 道未发表的理论物理题,答案可以核对。作者说,相关子领域里领先的专家如果不用人工智能,解一道典型题大约要一天或更短。

GPT-6-Astra 在 OpenAI 的 Codex 里做对 49 道,也就是 98%。正文写,平均每题不到 3 美元,整套不到 116 美元。页面标题写每题 2.40 美元。两句都留着,不收成一个数。这是一篇报道,不是论文页面。报道说数据集在 Hugging Face,没有写出具体地址。

[1]
一个合上的文件夹,封面是炭黑,书脊是灰蓝
一个合上的文件夹,封面是实心的炭黑,书脊是灰蓝,页边有一点赭红。, AI 生成插画,不是新闻照片

不上网也是 92%,有一道题谁都没做对

题目被作者称为 turn-the-crank:把已知方法用到一个稍加改动的问题上。重大的未解问题被故意留在外面。贡献者常常只改自己近期论文里的几个数,让新答案不能从旧论文里直接猜出来。作者说,这类题过去常常是博士生进入研究的第一步。

带网页搜索时,Anthropic 的 Opus 5.5 在 Claude Code 里排第二,92%。Google 的 Gemini 3.8 Flash 是 68%。开放权重的 DeepSeek-V4.1-Flash 和 GLM 5.3 是 54% 和 42%。不上网时,Astra 和 Opus 都是 92%。每个智能体测了两次,一次能搜网页,一次断网。

有一道题所有模型都没做对。它要求写出能产生给定曲线的方程。作者承认这道题可能显得不公平,但他们认为研究者经常得从含糊的数据里把背后的物理推出来。另有几道,回头看专家的参考答案,里面有很难发现的小错。改完之后,Astra 的答案每次都对。

[1]

品味没有被量化,也不是预测

作者写,当前最强的一些模型,在具体、可以对答案的计算上,可能已经超过该子领域最好的人类研究者。他们把这称为一个重要的里程碑。这是作者的判断。流体方程那个千年问题,报道写的是“据 OpenAI 说”,不是这篇核对过的求解。

作者强调,关于品味和突破的这些观察不能量化,也不是对人工智能走向的预测。他们还写,更难的问题上,花费预计会明显上升。那是预计。这套基准现在整跑一遍,大约仍是 116 美元。

[1]