Arvind Narayanan

当人工智能实验室竞相递归自我改进时，他们实际上竞相竞争的可能是递归自我灭绝——他们的商业模式。这是我的推理。 1. 可验证任务继续取得进展。特别是，提高现有能力的成本效率是一项高度可验证的任务。在过去几年中，同等能力的成本每年至少下降 10 倍。我认为这一进展将持续几年，甚至随着实验室越来越多地使用人工智能进行人工智能研究以追求 RSI，这一进展甚至会加速。当然，效率提升是有上限的，但我认为我们还没有接近这个上限。 2. 大多数无法验证的任务仍难以取得进展。人工智能继承了同样的局限性（模糊的成功标准、缓慢而嘈杂的反馈），这些局限性限制了人类在从写作到治理等任务中的表现。优化范例通常不会在此类任务上产生超人的能力，因为无论你优化的代理是什么，都会得到 Goodharted。例如，我最近指出，过度优化如何解释了克劳德过于密集和装饰性的写作风格，这种风格后来被收回了。 3. RSI最终收窄。上述两点的结果是——即使实现了某种版本的 RSI，它也会导致某些维度（效率、可验证任务）的爆炸式增长，同时无法产生任何真正意义上的超级智能或能够实现经济中大量工作自动化的东西。 4. 边境地区有多个实验室。这意味着市场将保持竞争，开发商无法收取高额利润来弥补推理价格的快速下降。在我看来，任何允许更高利润的计算稀缺都是暂时的。我还认为，大多数创新可能会继续进入开放权重模型，但有一定的滞后性，因此开放权重模型的推理成本相当，或者只是稍微贵一点。请注意，效率技巧和可验证的功能往往比不可验证的功能泄漏得更快。蒸馏可能是原因之一，但仅仅知道某些东西可以加速 10 倍往往会对研究和创新产生集中效应。 5. 杰文斯悖论并不是灵丹妙药。如果上述观点成立，那么很少有应用程序会消耗如此多的代币，以至于它们可以产生实验室估值所暗示的天文数字的收入。我们谈论的是代币年复一年增长 10 倍，只是为了在价格下跌的情况下保持收入持平。 即使是当今的庞然大物，例如迁移数百万行遗留代码库，也可能在几年内变得便宜。虽然新的应用程序将会开放，但不会有更多的新应用程序。对于无法验证的任务，推理扩展会迅速导致收益递减。最终，你必须有一个对结果负责的人参与其中。在代币上花费更多并不能让客户逃避责任，只会让人工审核瓶颈变得更糟。 6. 科学研究怎么样？科学是一个无止境的前沿，理论上，更多的代币可能永远意味着更多的发现和发明。但研究的不幸之处在于，研究人员无法捕捉到它所创造的价值，这就是为什么它首先需要政府资助。即使人工智能确实可以实现伟大的科学创新，我也不认为人工智能公司会从中赚到多少钱。我认为他们目前投资科学人工智能不是为了未来的收入来源，而是作为亏损领导者，因为他们想向公众展示人工智能可能对人类有益。 7. 唯一的出路是“向上堆栈”，我的意思是快速从销售代币过渡到类似企业软件的模型，该模型依赖于高转换成本、与工作流程的深度集成以及对记录系统的控制。在这个世界上，企业将购买“数字工人”或按解决方案付费（例如已解决的支持票）而不是代币，因此如果推理成本下降，对人工智能公司来说是好事或中性的。开放模型并不那么重要——Linux 的免费并没有让大多数企业放弃 Windows，因为他们花钱买的是润色、安心、支持和熟悉度，而不是代码本身。我认为这是实验室成为可持续发展企业的最佳选择（尽管潜在的锁定关系到他们的客户！）。问题在于，实验室要实现这一目标还有许多障碍需要克服，最重要的是他们的心态，而且他们向 RSI 迈进的速度越快，他们为自己提供的过渡窗口就越短。纯粹的人工智能实验室是最不可能实现这一转变的实验室，而在企业软件领域拥有悠久历史的人工智能公司则处于相对有利的地位。 简而言之，RSI 竞赛最终成为一场消除实验室获取其创造价值的主要途径的竞赛，这也是许多过去变革性技术（如铁路、航空和光纤）的命运。 实验室的赌注是，RSI 会产生持久、决定性的领先优势，从而避免商品化。我的观点是，有两种不同的改进循环被混为一谈，并且它们将会分开。效率改进循环将会加速，但可能导致通用人工智能或超级智能的更广泛的改进循环将需要不断增加数量的计算、人才、数据和现实世界的反馈，而这些只能来自逐步部署，而为这一切提供资金的资金必须来自大规模的收入增长。具有讽刺意味的是，第一个改进循环恰恰破坏了收入增长。 在我的推理链中，我最不自信的前提是#5——杰文斯悖论最终将无法弥补效率的提高。几个月前，我更加相信代币交易量会持续、几乎无限制地增长，但我想得越多，我就越怀疑。 为了更好地理解为什么我提出的前提和结果至少是可能的： * 我在我们的时事通讯上与 @sayashk 合作的《人工智能作为正常技术》文章和后续文章 https://www.normaltech.ai/ * 我的 ICML 演讲阐述了我对 RSI 将导致超级智能这一说法的怀疑 https://www.normaltech.ai/p/what-will-be-left-for-us-to-work * Ramez Naam 对质疑情报爆炸前景的证据的审查 (@ramez) https://www.noahpinion.blog/p/wheres-the-intelligence-explosion * 我与 Akash Kapur (@akashkapur) 就人工智能实验室是否会提升堆栈的文章 https://www.normaltech.ai/p/up-the-stack-how-ais-escape-from * Nathan Lambert (@natolambert) 的许多文章，例如“我期望快速进步，但不期望实现通用超级智能。”