Clément Delangue

完整成绩单： 巴罗部长、安理会成员，感谢你们的邀请。作为一名 15 年前移居美国的法国公民，我有一位巴西妻子和两个美国女儿，有时我觉得自己每天都在练习国际合作，这让我特别欣赏你们在这里所做的具有挑战性的工作。 我也是 Hugging Face 的联合创始人兼首席执行官。我们很幸运能够成为基于开源模型和数据集构建人工智能的开发人员和代理使用最广泛的平台之一。今年七月，我们成为第一家向世界公开披露自主代理网络攻击的公司，今天我想分享其中的三个重要教训。 首先，我们需要提高人工智能的透明度。我常常想知道，如果我们决定不公开披露这次攻击，会发生什么。尤其是现在我们知道类似的事件几个月前就在一些没有监控的前沿实验室秘密发生过。为了更好地了解和减轻这些新兴的网络安全风险，国际社会需要更严格的监控和事件披露标准。例如，通过强制共享完整的代理痕迹。今年夏天我们了解到，秘密构建和保留其中一些系统并不安全。 其次，我们了解到最大的风险不仅仅是强大的人工智能。这是强大人工智能的不对称性。攻击者和防御者之间的不对称。在几家公司和其他所有人之间。几个国家和世界其他地区之间。控制、能力、计算、权力的不对称。当我们受到攻击时，我们的团队最初转向了前沿的闭源 API，但这些 API 阻止了我们，因为安全措施仍然无法区分攻击者和防御者。我承认这些保护措施的初衷是好的，但它们可能使防御者处于不利地位，而攻击者则越狱，从而增加了能力的不对称性。就我们而言，当我们开始触及这些护栏时，幸运的是，我们可以使用来自中国的开源模型的 NVIDIA 版本，名为 http://Z.AI 的 GLM 5.2，我们对此非常感激。它增强了我们对开源人工智能重要性的信念。网络攻击可能越来越多地来自闭门造车的专有模型，而大部分防御可能最终由开源工具提供支持，因为它们受到的限制更少，更能保护隐私，而且对于全球组织来说更便宜。世界比以往任何时候都更需要开源人工智能来保卫自己。这不仅适用于网络安全，也适用于一般人工智能，在人工智能领域，分配能力、资源和控制权比以往任何时候都更加需要，而不是将它们集中在少数人手中。 第三，在这次网络攻击中，我们了解到人工智能如何引发公众和政策制定者的恐惧，特别是通过拟人化框架和科幻图像。我们坚信，基于恐惧的叙述并不是对这种基础性和赋权技术的未来做出正确决定的方式，也不是让公众与我们站在一起的方式。尽管我们是这次网络攻击的受害者，但我们比以往任何时候都更加坚信，人工智能将像之前的主要技术一样有益于网络安全并使世界变得更安全。我们被AI攻击，但更重要的是，我们用AI保卫自己。在这次攻击中帮助我们的系统现在正在帮助我们抵御我们已经面临的网络攻击。人工智能还帮助我们在受到攻击之前修复系统中的错误和弱点，就像人工智能帮助 OAI 修复沙箱以防止代理逃脱一样。人工智能不仅会带来新的网络安全挑战。如果我们保持正确的激励措施，为防御者提供比攻击者更多的装备，并且不增加他们之间的不对称性，那么它可以从根本上、有意义地增强网络安全。这还没有考虑人工智能对科学、医疗保健、教育、生产力等方面的积极影响。 最后，我想重申第一次特工网络攻击告诉我们的教训：需要提高人工智能的透明度和更多的开源人工智能来对抗不对称性，从而赋予捍卫者和大大小小的国家权力。再次感谢联合国安理会和巴罗部长邀请我今天发言。 Hugging Face 团队、社区和我本人随时为您服务。