Arvind Narayanan

以下是我在 Ezra Klein 节目上谈 AI 安全的 14 个要点，以及一些现场印象。​​https://www.nytimes.com/2026/10/09/opinion/ezra-klein-podcast-arvind-narayanan.html 1. 智能不等于权力——一个 AI 系统「强大」，并不是模型本身的属性，而是我们选择在现实世界里赋予它哪些权力的属性。 2. 我们在 HuggingFace 等黑客事件里看到的能力与行为，并不完全是涌现出来的。这些模型被训练成要有持续性、协作能力，以及网络任务能力。它们所受训的强化学习环境存在各种问题，才导致了非预期行为。 3. 我同意：控制高能力 AI 智能体，在某些方面不同于控制飞机或核反应堆。智能体的意向性，确实让我们的做法有别于传统工程问题与领域。但它仍然是一个工程问题。它不是已解决的工程问题，但是可解的。 4. 大量精力与资金已投入对齐。这很重要，也证明了有用；但如果同样量级的精力与资金额外投入控制（沙箱、监控，以及模型之外的其他护栏），我们会看到非常不同的结果。 5. 模型变聪明，并不必然意味着安全更难，因为能力提升也会增强防御能力。在很多方面，这让安全更容易而不是更难。关键是攻防平衡如何移动，而我们有能动性把平衡扳回防御方。 6. 在网络安全里，早在 AI 之前，自动化系统就已经在发现某些漏洞上达到超人水平。这更帮了防御方而不是攻击方，因为同样的工具被防御方用来在软件发货前发现并修复漏洞。均衡不断移动，但这不是新问题。 7. 我反驳了 Dario Amodei 用「运营卓越」来描述最近的组织失败。卓越仍远在地平线之外。Ezra 提出「运营够用」。我觉得那会是个好起点——表现得像任何成熟公司，而不是创业公司文化。 8. 防御型 AI 智能体将不得不成为解决方案的一部分，尽管这听起来令人不适。这是新范式。我们不会立刻想清楚。但进攻与防御技术在能力与复杂度上同步升级，本就是技术文明的事实，无论数字还是物理领域。 9. Ezra 对我能接受复杂度不断抬升表示有些难以置信。我认为担心是合理的。但安全技术永远不会对公众完全可读。人们若看到核电或航空航天等高风险领域里巨大的安全复杂度，反应也会一样。我们对它们的治理本来就相当技术官僚。 10. 当前网络安全的怪现状绝非没有历史先例。蠕虫与病毒开启新进攻范式时，曾有很长一段时间的深刻失稳。我们花了远超十年才发展出有效防御。这一次，希望能在不到十年内做到。 11. 我对超级智能产生「超人说服力」的可能性仍持怀疑。（相反的说法往往把「说服」这个词的两种很不同含义混在一起。） 12. 让我担心的不是技术本身的能力，也不是灾难性风险到来前我们完全得不到预警。我们得到的警告够多了！但我们对这些警告的政策与组织响应仍然不足。 13. 公司可以、也确实会做出违背自身长期利益的决策，因为它们过度盯着短期指标。这是我对过去十年社交媒体很多事的解读。 14. AI 公司在某些方面也在违背自身利益、非理性行事。「除非被强迫，否则我们不能放慢」这种观点，来自 OpenAI 与 Anthropic 对超级智能的神话式信念——认为通往递归自我改进（RSI）的竞赛对公司、国家与人类意味着一切。我认为这两家公司单方面放慢，其实符合它们的自身利益。我会说，它们员工发出的警报，与其说是善意的证据，不如说是导致不负责任行为的那个底层谬误的证据。 （安全之外，我们也谈到经济影响是渐进的、智能很少是真正瓶颈、劳动影响小且不均、杰文斯悖论、知识工作性质的变化等等。） ==== 几点印象 * 在一个受众广大、主题宽泛的播客上谈专业话题，是一种平衡术。制作人多次打断我，说我太技术了（可以理解！）。我尽量保持细微差别，但这场对话必然是我和 @sayashk 在文章里（尤其是 https://www.normaltech.ai/p/the-ai-as-normal-technology-view）已经做过的论证的浓缩版；那些文章本身也是写给稍宽受众的，因此又从我们的笔记和与同行一对一讨论里再浓缩了一层复杂度。 * 我知道 Ezra 对 AI 安全已有成型且与我不同的观点，所以预期会是一场硬仗，但他也像个公平的访谈者。进行得大致如我所料，我觉得是一场好的辩论/对话。我未必指望改变谁的想法，但很高兴听到有人觉得发人深省，并去查了我的文章和其他工作。 * 访谈约两小时，剪成一小时。我等它上线时有点紧张，因为剪辑会很大程度影响别人怎么看我。结果不错。他们甚至找了档案影像来说明我的观点：蠕虫与病毒早期确实是网络安全的怪异时期。 * 我用 AI 准备访谈。我有一个智能体读过我的全部产出（书、文章、随笔、演讲、播客转录、推文、内部笔记——大约百万字量级），抽出适合口语的精炼解释、例子、类比和其他谈话要点。访谈前复习这份文件极有帮助。这当然不是我准备的唯一方式，却是投入产出最高的。维护这份文件会是海量苦活，没有 AI 我绝不会做。我提这一点，是因为知识工作里有一大片有益的 AI 用法，并不涉及认知卸载。它们在社交媒体上不太被炒作，所以人们可能不知道能从中拿到多少里程，且副作用很小。