OpenAI LifeVal:日常任务评测社交图
LifeVal 用时间使用调查,把 AGI 测量框到日常琐事。, OpenAI

要点

  • 任务地图锚定美国时间使用调查(ATUS)与跨国时间使用研究,并叠加 3,995 人、人口统计上有代表性的「最想要助手帮忙」调查。
  • 领域:照护、健康、教育、家务行政、个人财务、购物、政府服务。
  • 演示工作流分数示例:幼儿园入学 93.1%、洪涝志愿协调 98.0%、找房 100%、异地陪看比赛 96.3%、糖尿病餐食准备 90.4%。
  • 叙事:过去一年在浏览器使用、计算机使用与连接器上的训练,推动 ChatGPT 从聊天走向可行动的个人助手。
  • 正文未给出公开任务列表、评分器或第三方基线。

OpenAI 的 LifeVal 博文主张:AGI 进展应量在人们真正想要帮忙的琐事上,而不是只量学术知识题。这个问题意识成立。随文公布的证据,薄于那些接近满分的分数所暗示的程度。

[1]

实际发布了什么

OpenAI 称构建 LifeVal,是为了在过去一年跟踪并推动模型在日常任务上的表现。任务目录先来自美国时间使用调查与跨国时间使用研究,再叠加对 3,995 名受访者、在人口统计上有代表性的调查,询问最希望个人助手插手的地方。结果覆盖照护、健康、教育、家务行政、个人财务、购物与获取政府服务等。

博文给出若干示例对话与当前模型分数:搬家后选择合适幼儿园(93.1%)、洪涝前组织志愿者(98.0%)、在预算与通勤约束下找房(100%)、与远方长辈一起看比赛(96.3%)、新确诊糖尿病后的餐食准备(90.4%)。叙事把这些提升连到过去一年 ChatGPT 在浏览器使用、计算机使用与连接器上的能力,称产品正从聊天走向能办事的智能体助手。

使命表述很明确:对每周逾十亿 ChatGPT 用户,帮助应意味着把事办成,而不只是给建议。LifeVal 被写成朝这一测量目标迈出的一步。

[1]

台面上的证据

文中可核对的硬件是调查规模(3,995)、点名的时间使用来源调查、列出的生活领域,以及五条演示分数。抽样、命题、评分、工具权限与失败分类的方法细节未在此公开。没有可点的公开榜单、题库或独立实验室结果。所有表现数字均由 OpenAI 自跑。

[1]

钢人与缺口

钢人。 学术基准错过日常时间分布:幼托后勤、政府表格、健康习惯、金钱行政。用时间使用研究与代表性民调锚定评测,比再出一套考题更像产品指南针。若模型能在这些流程上安全操作浏览器与连接器,那比再高一点的知识题分数更接近「有用的助手」。

缺口:精选演示分数贴近天花板,区分度弱,也容易被质疑挑题。没有公开任务、评分器与工具桩,外人无法证伪,也无法跨模型对比。博文未报告错误模式、人类基线、成本、延迟,以及助手多久必须交还控制权。找房演示上的「100%」在题库开放前,仍属产品截图级证据。利益冲突是结构性的:同一实验室既交货助手,又出记分卡。

[1]

谁该在意,下一步看什么

评测与安全团队应把「日常任务分类法」(有用)与「题目封闭的厂商 KPI」(弱科学)分开。向智能体就绪度要数的监管者与企业采购方,在把类 LifeVal 数字当采购依据前,应要求公开题或第三方审计。对手实验室可以采用时间使用框架,而不必接受 OpenAI 的天花板分数。

未来六个月看:OpenAI 是否释放 LifeVal 任务或脱敏公开子集;是否出现带人类基线的独立日常智能体套件;ChatGPT 产品说明在上线浏览器/连接器改动时是否引用 LifeVal。

[1]

收束

LifeVal 站得住的部分是分类法:按人们实际度过的小时来量助手。站不住的风险,是把封闭、接近满分的演示当成「日常 AGI 已到」的证明。 六个月后,要么题库开放到外人能不同意这些分数,要么 LifeVal 仍只是 OpenAI 路线图的指南针,而不是领域可共用的基准。

[1]