OpenAI BioBasicsBench 湿实验智能体评测头图
OpenAI 与 Ligo 发布面向日常湿实验分析的 BioBasicsBench。, OpenAI

要点

  • BioBasicsBench:100 题,覆盖蛋白方法、成像/流式、定量与测定、核酸方法、分子克隆;与 Ligo 用科学家自有实验数据共建。
  • 输入保留脏现场:凝胶/印迹(31)、方案与笔记(27)、表格/导出(20)、台面照片(18)、显微(14)、仪器屏(13)、测序(12)、操作视频(7)、琼脂平板(7)。
  • 评测:7 个模型、37 档设置、每题 5 次共 18,500 条结果;报告平均得分与按整题重采样的 95% 置信区间。
  • xhigh:Astra 66.7%(60.3–73.1),GPT-6.1 Sol 62.0%,GPT-5.6 Sol 43.8%;Astra 在多模态细节与歧义识别上更好,仍会在菌落计数(一例约高估 12%)与假设—对照冲突上失手。
  • OpenAI 把它写成科学智能体的日常可靠性目标,也写成生物安全/生物安保的跟踪面。

2026 年 11 月 6 日,OpenAI 与生物技术公司 Ligo 发布 BioBasicsBench:一百道日常湿实验分析题,材料是原始实验证据,而不是论文里挑过的图。软叙事是「AI 帮科学家」。更硬的句子更窄。一个注意不到对照平板抗生素标签写错、或把菌落多数约 12% 的模型,即便平均得分 66.7%,也还不是可信的实验搭档。 若后续版本在同一细则上修好对照核对与「证据不足」拒答,且没有把题变成套路匹配,主张成立。若总分上涨而这类失败仍在,基准就只是另一张漂亮图。

[1]

实际发布了什么

题目覆盖五类日常湿实验。科学家用自有数据写提问与专家评分细则。每题经非命题 Ligo 科学家内审、外部在职博士湿实验审阅,再做终审。智能体交结构化答案;按细则分项给分,可把「结论对、推理弱」与「部分分析」拆开。

证据形态本身就是主张的一部分。凝胶与印迹最多。方案笔记、仪器 CSV、流式 FCS、显微栈、FASTQ 与短操作视频并列。分子量标准与质粒图谱等参考页是辅助材料。设计目标是论文配图删掉的那些含糊:失败实验、染料通道重叠、贴错标签的平板。

[1]

台面上的证据

OpenAI 称 GPT-6 Astra 即使在低推理力度下也明显优于 GPT-5.6 Sol;xhigh 上 Astra 平均得分 66.7%,Sol 43.8%,公布表中的 95% 区间不重叠。Token 成本也变了:Astra 每题约 4,700 输出 token,Sol 约 9,100。

比排行榜更有信息量的是失败案例。多通道细胞术里,Sol 把死细胞染料亮度当成定论,而检测窗与另一染料重叠;Astra 指出歧义并要求更好对照。克隆平板照片里,Sol 相信空的阴性对照;Astra 读到皿缘「LB Kan50」,发现实验用的是氨苄而不是卡那,否定该对照。显微深度扫描视频里,Sol 找细胞「消失」的生物学解释;Astra 把它认成 z-stack。

同文也展示 Astra 仍会失手:菌落 PCR 条带分组对了,却相对对照把「目标构建」组别弄反;在同一视野里见过更亮的液泡后,仍概括「液泡一般更暗」;在一块平板上合并相邻菌落、漏标可见菌落、把空白琼脂标成菌落,相对参考约高 12%。

[1]

钢人与缺口

钢人。 OpenAI 在给决定科学家会不会白忙一周的「无聊活」打分。分项细则加原始输入,比看论文配图更严。公开残留失败,更像实验手记而不是发布预告。与 Ligo 合作,让做酶设计的一线科学家进入命题。

缺口仍在。这是公司评自家模型;文中没有独立实验室记分板。题目来自单一合作方语料。「平均得分」摊平细则碎片;模型可以看起来能干,却在一次对照漏读上不安全。生物安全含义被点名,但未量化。公开材料也未细说是否排除了对相似凝胶外观的污染或过拟合。

[1]

谁该在意,下一步看什么

考虑让智能体做凝胶初读的湿实验组,应把对照核对率与「证据不足」拒答率当录用标准,而不是总分。基准作者应少只靠论文配图。安全与生物安保审阅者多了一个具体面:会传导成错误下一实验的日常误读。

未来六个月看三件可观察事:独立组能否用公布细则重跑或扩展 BioBasicsBench;OpenAI 或对手是否公布对照类错误率而不只平均分;菌落计数与「假设压过对照」类失败是否在题目不被悄悄撤掉的前提下下降。

[1]

收束

BioBasicsBench 耐看的主张,不是 GPT-6 Astra 已可无人值守上实验台,而是:日常湿实验可靠性已是可度量的产品要求,而今天公布的最佳分数仍留下会送错质粒、或抬高转化效率估计的失败。 六个月后,要么对照敏感指标公开移动,要么这张 66.7% 的图只会老成又一张能力明信片。

[1]