Dario Amodei

谢谢你，@_NathanCalvin。我很欣赏并且是你为人工智能安全所做的调查工作的粉丝，并相信你的评论来自建设性的、诚实的地方，并且让负责审查前沿人工智能公司行为的人对公众有利。我认为，如果像 Anthropic 这样规模的公司基本上每天都没有受到严厉批评的话，那就有点问题了。对抗企业权力的强大抗体是自由社会的一个健康特征，尤其是当我们面临的严重问题发挥作用时。我也同意你引用的一些例子是人类的错误。 也就是说，我不同意你帖子的主旨。从本质上讲，你所批评的事情中有很大一部分是我们多年来坚持的人择基本变革理论的结果。我们的战略一直是我所说的“力争上游”——通过展示如何负责任地构建技术，我们可以提高整个行业的标准。如果公司处于领先地位，那么推动竞争走向顶峰的力量就会更加有效。这是我反复吸取的教训。纵观整个战略，我为我们的业绩记录感到自豪并坚持下去。 我相信，如果我们列出 Anthropic 在过去一年中所做的有利于安全且对我们来说商业成本高昂的事情，它们远远超过您列出的清单，同时我也不同意您清单上的一些项目。以下是 Anthropic 在您引用的同一时期（去年）所做的一些事情，这些事情对我们来说商业成本非常高，同时具有强大的安全优势： 1. 我们在 SB53（以及其他州法律）中发挥了关键作用，当时这样做对公司来说在政治上是危险的，而且人工智能监管非常不受欢迎。事实上，我们主张比最终通过的 SB53 版本更强；有很多利益相关者，我们并不是通过该法案的限制因素。 2.我们对我们的模型有非常强大的生物防护措施，因为我们已经看到了生物提升试验的令人担忧的结果，甚至看到并阻止了滥用我们的模型制造生物武器的潜在企图（如几周前我们的威胁情报报告所示）。这是一个非常严重的威胁，我们希望对此采取零容忍态度。但是，具有非常低的假阴性意味着存在显着的假阳性（尽管我们花了几个月的努力来改进分类器），这足以让生物学家开玩笑说我们的分类器有多么严格，而竞争对手有时会通过吹捧他们更宽松的生物能力来向我们推销。在我们非常关心支持克劳德用户生态系统的领域（生物医学科学；这对我作为生物学家来说尤其令人沮丧），这对我们来说是非常痛苦的，但这是正确的做法，我们打算继续这样做。 3. 同样，我们在 2 月份首次拥有了 Mythos 级模型，但直到 6 月份才普遍提供（当时我们有更强大的网络保护措施）。我们只向有限的合作伙伴提供它们，以便专注于网络防御。如果简单地向所有人发布该模型，在经济上会更加合理。我们很可能牺牲了几个月的模型领先优势的很大一部分。但正因为如此，许多公司在广泛使用的网络模型泛滥之前保护了自己的网络基础设施。当然，有很多方法可以做得更好或运行得更好，但这就是我们的目标。 4. 我在今年 6 月的文章《人工智能指数政策》中强烈公开主张政府有权阻止模型发布。当时这仍然在外面，或者可能在奥弗顿窗户的边缘，尽管我知道窗户从那时起已经移动了。我们因此受到猛烈攻击。 5. 我不想重新点燃冲突，但 2026 年 2 月发生的事件就是一个很好的例子。显然，我们的公开立场可能会严重损害公司的未来。 6.我们继续主张对中国芯片和芯片制造设备进行出口管制，因为我们认为这可以让民主国家在人工智能安全协议方面处于强势地位进行谈判。尽管这给我们带来了一些问题，但我们仍然这样做了，因为行业合作伙伴持有不同的观点，而且我们非常依赖他们。 7. 据我所知，我们是第一家，也是唯一一家限制向中国控制的公司出售人工智能服务的前沿公司，包括那些通过第三国运营的公司（否则就是一个重大漏洞）。因此，我们放弃了重要的短期业务，以阻止推动有助于中共军事和情报服务的人工智能平台和应用程序。我们也在打击蒸馏；一般来说，蒸馏对我们的商业威胁不是主要的，但就像芯片出口一样，它对国家安全和安全产生影响，因此我们花费大量的精力和公司资源来解决这个问题。 8. 正如你提到的，我们发布了很多报告、公告、长模型卡、公众宣传等，都试图让公众了解人工智能的风险。这些涉及一定程度的细节和努力，这对于纯粹追求利润最大化的公司来说是难以置信的。 9. 就在本周，我们宣布将把公司 5%（随着时间的推移，可能会更多）投入公共福利基金。 所有这些决定都给我们带来了巨大的成本。公平地说，那些涉及阻止或限制获得前沿能力的行为也有更广泛的成本——例如，公众可能会从生物学的更快进步中受益，所以我并不是说我们的决定没有权衡——但它们并不是由逐利驱动的。 对于每一个决定，你都可以想出可能驱使我们的不可告人的动机——我认为这是一个普遍的事实，即任何主题上的任何决定总是可以被描绘成一个邪恶的计划。但如果你仔细研究它们，其中大多数最终都会变得相当牵强或不完全有意义。例如，为了自己完成工作并与客户竞争而阻止大量生物学研究，这将是一个精明的商业举措，这是非常令人难以置信的；我们预计生态系统的收益将大大超过 Anthropic 本身所做的工作，并且两者能够相辅相成。被认为对生物学家不友好并不符合 Anthropic 的利益。我们的生命科学验证计划也驳斥了这一想法，该计划让经过审查的生物学专业人士能够访问我们的模型。 当然，不同的人会看到这一点并提出不同的批评：Anthropic 不应该首先决定谁可以访问什么。我同意，在理想情况下，政府将做出这些决定，这就是我们主张监管的原因。但目前我们被迫制造它们，而启用生物恐怖主义并不是更好的选择。 我想，即使我承认了你清单上的每一项，我也会很高兴地把我的放在它旁边；我认为这不是一次千钧一发的情况。当然，这在一定程度上是主观的，不同的事情对不同的人来说很重要。也许你可以反对的一种方式是，上述几项与人工智能滥用有关，而不是失控；如果您认为后者比前者重要得多，那可能会改变您的计算。但这不是 Anthropic 的观点——我们认为这两个问题都是严重的问题。您也可以像许多人一样不同意我们的决定，但它们是一致的。 但我也不同意你列出的至少一些内容。一旦我们假设需要成为一家前沿人工智能公司的“争先恐后”战略，有几个项目根本不代表与 Anthropic 的战略或价值观的偏差。你们的第 1-4 条都是前沿竞争意味着什么的简单例子，我们支持它们，既因为它们是该战略的一部分，显然是普通的事情，也因为我们支持整个战略。 公平地说，当人工智能驱动的加速速度足够快以至于安全性难以跟上时，有一些重要的问题值得面对（我们也正在面对）。我们正在接近这一点，这就是推动我们思考“节奏”的原因。但 1-4 是在此之前采取的行动，并且根据 Anthropic 作为一家公司的战略，应该是完全可以预期的。当然，你可能会不同意这个策略，但这是一个更根本的分歧，你可能在过去几年中随时遇到过。 我同意我们可以更好地处理您的第 7、8 和 9 项。所有这些都属于“措辞或政策沟通不够仔细，或者是由于快速变化的环境没有足够快地从一个团队传播到另一个团队而导致的”。这种事情在大型组织中经常发生（Anthropic超过5000人），甚至并不一定代表任何一个人的失败或错误。我当然是首席执行官，我承担责任。 Anthropic 的沟通量是巨大的，如果这些是最糟糕的例子，我认为坦率地说我们做得很好，尽管我会继续努力确保我们做得更好。 你的第五项（对我们的RSP的改变）是最具实质性的一项，人们可以对此进行辩论，但我认为旧的、更严格的RSP造成了很多情况，在技术上我们被要求做一些需要大量努力的事情，但回想起来对于安全来说并不是很重要，并且没有涵盖一些最重要的事情。我们当前的 RSP 对透明度的关注带来了风险报告和路线图等内容，并且它对独立外部审查的重视为更深入的嵌入式评估奠定了基础，我认为所有这些对于推动竞争走向顶峰都很有价值。在 2023 年 9 月的最初公告中，我们将 RSP 描述为“我们将在此基础上构建的早期迭代”，并表示“快速迭代……几乎肯定是必要的”。我知道改变计划总是会引起合理审查的举动——我只是认为我们从未表示过我们不会这样做。 关于您的第 6 项（除了我们的 RSP 之外还拥有 FCF），我知道我们的目的是履行我们监管义务的文字和精神（通过我们的 FCF），同时仍然能够尝试超越当前法律要求的更新颖的风险管理方法（通过我们的 RSP）。我保证会进一步研究它，因为这是一个复杂的问题，而且我们可能没有以正确的方式权衡考虑因素。 总的来说，虽然 Anthropic 作为一个组织犯了很多错误——包括你清单上的一些错误——但我觉得我们一再采取了违背我们底线的严肃和实质性行动，并且存在严重的消极偏见，扭曲了评估，就像你上面所做的那样。我们将始终努力做得更好，但我再次对我们的记录感到非常自豪并坚持下去。我很快就会更多地谈论我们如何在这个快速变化的时刻进一步践行我们的价值观。