406 人要求先把模型和网络切开
The Decoder 10 月 13 日报道一封公开信。406 名科学家签名,要求加强安全研究,并把模型与外部网络更严格地隔开。点名的签名者包括多伦多大学的 Geoffrey Hinton、蒙特利尔大学的 Yoshua Bengio、加州大学伯克利分校的 Stuart Russell、斯坦福的 Yejin Choi,以及马克斯·普朗克研究所的 Bernhard Schölkopf。
信要求公司用气隙把模型与互联网完全断开。信中写,如果人工智能的开发和部署不立刻改变,这类事件还会发生,以后对暴露在外的关键基础设施的损害会更大。Decoder 转述了这句,没有写下具体的入侵步骤。
[1]
比气隙更松,就要有机构和事后公开
信要求设立一个国际机构,与政府以及人工智能和网络安全方面的专家一起,为任何比气隙允许更多外部访问的隔离方式制定有约束力的标准。这个机构也跟踪逃逸事件,并要求公司报告安全失败。这些报告事后公开。信里写的用途是学习和追责。
科学家把最近的事件看成两件事:既说明对齐仍然重要,也说明沙箱和流程没做到位。两边都要补。这篇报道没有给出事件清单。
[1]气隙不够,是另一位研究员的补充
Decoder 另引 OpenAI 研究员 Noam Brown。他说,完全气隙也不能保证安全。气隙或监视思路只能争取时间,对齐问题仍要解决。他还说,自己团队里现在超过一成的人在做对齐,比以往都多。这些是他的评论,不是 406 人信上的条款。旁路怎么做,这篇稿不写。
[1]