Andrew Ng

过去两周，引发对人工智能危险担忧的最响亮的声音取得了巨大进展。人工智能技术并没有发生一些意想不到的危险转变，但围绕它的炒作——在一场精心策划的公关活动的推动下——已经引起了相当大的恐惧。我担心这对我们的领域来说是一次挫折。 我经常写道，对人工智能的恐惧被过度夸大了。人工智能的能力可能与人类极其相似且不可预测，当直接参与其中的人表达担忧时，担心是合理的。但我认为这些问题是未来工程工作的标志，而不是难以逾越的障碍或天塌下来的情况。人工智能技术不断进步——这是一件好事！ ——但是公众对技术进步知之甚少，这给那些试图制造炒作的人提供了重复的机会。 首先，与几个月前相比，我认为人工智能导致人类灭绝的风险没有任何增加。关于这一点的理论仍然与几个月前一样奇幻、科幻小说场景。人工智能风险最大的变化是它的网络安全能力——这是一个我们应该认真对待的话题——但这也不会导致世界末日。 最近导致恐惧增加的最值得注意的事件是 OpenAI 团队部署的代理群入侵了 Hugging Face。许多大众媒体都进行了大量的炒作。例如，一些出版物报道称，由 1,200 名特工组成的群体实施了此次攻击。虽然这在技术上是准确的，但在我撰写本文时，我的笔记本电脑上正在运行大约 1,300 个进程。是的，让大量代理并行处理一项任务的能力是一项重大的技术进步，而且，在计算中，许多进程同时运行。所以这不应该被视为某种神奇的能力。 此外，OpenAI 存在缺陷的沙箱和监控流程是促成这一事件的关键。修复这些错误并改进监控将是适当的修复，而不是暂停人工智能。有许多众所周知的攻击软件系统的方法。人工智能代理的主要优点是它们是无情的。他们将不知疲倦地尝试许多策略，并有耐心将漏洞链接在一起，而这在以前需要付出大量人力才能完成。但从长远来看，我相信防御者将占据优势（因为他们拥有更多信息来识别错误并可以修复这些错误），但网络威胁格局已经发生了显着变化。识别和利用漏洞仍然存在瓶颈。人工智能代理仍然需要尝试很多方法来看看哪些方法有效，而采取这些行动需要时间，并且可能会被防御者发现。这就是为什么，尽管现在很容易获得领先的开放重量模型的版本，其护栏已被移除或削弱，因此它们不会拒绝尝试执行网络攻击，但世界并没有结束。 我还担心许多报道中人工智能的拟人化，法学硕士和代理人被不必要地当作人对待。如果我挥舞着锤子，漏掉了一颗钉子，不小心把墙壁弄凹了，这不是锤子的错。问题在于我如何使用锤子。同样，如果我提示代理并且它侵入了其他人的系统，则责任在于我，而不是代理。 当然，我们希望构建尽可能安全和可预测的系统。 （例如，不安全的锤子在正常使用下其头部会随机飞出。）当今的代理系统是不可预测的，但我认为通过应用良好的工程实践，我们没有理由无法使它们使用起来极其安全。人工智能厄运预测中的一个新因素是人工智能公司否认对自己的产品负责。 “这不是我干的，是我失控的经纪人干的！”工具制造商和工具使用者的责任之间需要取得平衡，但是当出现问题时，让我们让建造和/或使用锤子的人而不是锤子负责。 （顺便说一句，如果你担心人工智能生物武器的风险，大卫·贝拉米（David Bellamy）有一篇很棒的文章解释了为什么这也被过度炒作。简而言之，制造生物武器的瓶颈不是情报，而是实验室工作和制造。） 暂停人工智能的进步将弊大于利。首先，我们的对手肯定不会放慢脚步。其次，工程需要凭经验发现问题，以便我们能够解决它们。如果我们将人工智能暂停十年，我们也会将寻找和实施安全工程修复的时间推迟大约相同的时间。 当然，引发恐惧的动机——为了监管捕获，为了引起关注，或者为了让自己的技术看起来更强大——仍然和以前一样。免除责任是一种新的做法。然而，从严格的技术角度审视实际风险，我发现人们所煽动的恐惧程度几乎没有事实依据。我们仍然需要开展艰苦的研究和工程工作来提高人工智能的安全性，但有益的应用仍然远远大于风险，我们应该继续建设。 【原文（带链接）：https://www.deeplearning.ai/the-batch/issue-371】