六个人进场,权限大致对齐内部风险评估

Anthropic 10 月 15 日的公告,页面时间是世界时 17:20。正文写,今天开始给评估机构 METR 的一个团队接近员工的权限。METR 是一家评估前沿模型的非营利组织。已经进场的是六名 METR 员工,有公司硬件、办公位置,以及和内部风险评估团队大致相当的内部工具和系统。

公司写,想缩小评估方和公司自己对系统了解之间的差距。有些信息不能全部公开,因为可能被拿去滥用,或者属于算力、训练信息这类商业敏感内容。过去一年,他们和 METR 合作审过几份风险报告。SecureBio 和 Accenture 也在评估方名单里,和包括 Hugging Face 在内的另外几家还在早期交谈。

[1]
一本立着的册子。
一本立着的册子,书脊是灰蓝,封面是灰。, AI 生成插画,不是新闻照片

不能否决发表,可以要求删几类

METR 会发表对风险水平、事件或做法的分析。Anthropic 不能否决发表,但可以要求删掉落在少数预先划定类别里的信息。公告举的例子是客户数据、律师与客户之间的保密信息,以及模型架构。METR 可以公开说明这些删节,并说明他们认为删得有没有道理,只要不把删掉的内容本身说出来。

这个安排限于一个签了可执行协议的小组。其他 METR 员工和这个小组隔离,包括那些在别的项目上和公司合作的研究者。公告写,这是让少数符合条件的人在公司的安全标准下近距离看运作方式,不是让其他机构来取公司、客户或伙伴的信息。架构信息默认风险高、和风险评估的关系通常不大;只有高度相关时才会考虑分享,而且要另经内部批准。

[1]

三档里,只有这一档是员工级

第一档做范围很窄的风险调查。公司决定给什么权限,评估方发表结果要经过公司批准。第二档可以不经批准发表,能看到更多信息。公司仍能要求删掉特定类别,评估方仍可以公开评论删节是否合理。第三档就是现在和 METR 的安排:员工级权限,发表权利和第三档所比的第二档相近。公司希望以后有多个评估方站在第三档。那是打算,不是现在的人数。

SecureBio 正在审 8 月风险报告里的化学与生物章节,此前完成并发表过对上一份风险报告的试点审阅。这一轮审完,公司才会考虑提高权限。公告没有写这一章里的具体内容。和 Accenture、Faculty 的合作,写的是正在朝一个更大的安排走,包括评估、红队、对齐评估和防护测试。时态是正在走向,不是已经做完。

[1]