Jason Wei
@_jasonwei
做了一个「基准的基准」：2026 年各前沿实验室报告了哪些基准的频率分布：https://t.co/GswjxqWz1c
一些观察：
- HLE、SWE-Bench Pro、DeepSWE 和 Terminal-Bench 获得了普遍采用
- Scale AI 是这四个中两个的背后推手（SWE-Bench Pro、与 CAIS 合作的 HLE），外加 MCP-Atlas（排名第 9 的基准）
- 在各前沿实验室中，OpenAI 是最多产的基准生产者（SWE-bench Verified、BrowseComp、GDPval）；人们似乎并不介意在竞争对手制作的基准上做评测
- Anthropic 在图上只有一项（BioMysteryBench），基本上没人使用 🤔
- 学术界表现突出的有普林斯顿（SWE-bench、CharXiv）、斯坦福（Terminal-Bench）、伯克利（CyberGym、Agents' Last Exam）和纽约大学（GPQA）
- DeepSWE 的采用速度惊人，从 6 月首次出现到全部 12 家实验室都报告了它
- 各实验室在一年内轮换了四个版本的 Terminal-Bench（2.0 → 4.0）
