François Chollet

现实世界充满了递归的自我改进系统，但有一个特别值得关注：科学，被建模为一个系统（甚至可能作为一个具有目标和资源的代理）。如果你想真正理解 AI RSI，科学应该是你的参考点。 科学是一个智能系统，它显然是递归地自我完善的： 1. 科学发现解锁了有助于构建更好实验工具的新技术。这是几乎所有领域进步的首要驱动力。 2. 他们释放了新的概念进步（想法、理论），有助于解决更多问题。 3.它们增加了社会的经济产出，导致更多的资源流入科学领域。 4.他们解锁更好更快的工具（例如通过更好的芯片和网络技术进行更多计算）。 因此，许多科学“投入”指标呈指数级增长： 1. 员工人数（每约 15 年翻一番） 2. 全球研发支出（每约 13 年翻一番） 3. 论文和专利（从技术上讲，这是衡量员工数量的指标） 4. 科学计算（每两年翻一番） 但科学进步是指数级的吗？从历史上看，自工业革命开始以来，科学影响随时间的变化率大致保持不变（即科学进步是*线性*）。 1850-1900 年与 1900-1950 年或 1950-2000 年一样充满戏剧性。 1850-1900：进化论、细菌理论和消毒手术、热力学、电磁场方程、元素周期表、制药、电力、电报和电话、内燃机、摩天大楼、机械化农业…… 1900-1950：狭义相对论和广义相对论、量子力学、核裂变和原子能、抗生素、遗传理论、电子计算机、信息论、合成聚合物和塑料、晶体管、航空…… 1950-2000：DNA、基因工程、集成电路、微处理器和个人计算、互联网、载人航天、登月、卫星通信和 GPS、粒子物理标准模型…… 实际上，就像预期寿命一样，自 1840 年以来，预期寿命以每年大约 3 个月的显着线性方式增长，进步也是一条直线。对于生物学、医学和农业等影响容易衡量的领域来说，这一点尤其明显。 我于 2012 年首次撰写有关这一现象及其原因的文章，此后的几年里，源源不断的研究证实了这一点。例如，尼尔森和科里森在 2018 年发表的论文《科学的效益越来越低》，以及 2020 年的经济论文《想法变得更难找到了吗？》 （事实上，我相信尼尔森的论文源于六个月前我与他就这个确切想法进行的一次对话） 简而言之，主要原因是研究首先解决影响最大、最简单的问题，随后的每个问题要么更难，要么影响较小。指数如此。介绍信息论的论文并不难写（单一作者！），但你很难写出一篇影响力超过它的计算机科学论文。 这就是为什么科学作为一个系统需要指数资源（输入）来产生线性影响（输出）。随着时间的推移，难度会呈指数级增长。 如果您正在考虑人工智能的 RSI，那么值得考虑。我完全相信 AI RSI 已经发生，并且在未来将会加速。但我不相信这会导致“智能爆炸”——这将违背我所知道的关于智能的一切以及我所知道的关于递归自我改进系统的一切。