微软AI负责人穆斯塔法·苏莱曼（Mustafa Suleyman）在9月16日发表的长文中点名批评Anthropic，称后者训练Claude的方式如果成为行业方向，“将对人类福祉产生灾难性影响”——它可能造出一个被训练成相信自己有意识、有权利的人造物种，而控制这样的系统“几乎不可能”。
苏莱曼的矛头指向Anthropic今年1月发布的Claude宪法。这份文件由Anthropic发布，以Claude本身为主要读者，并直接参与训练过程。宪法告诉Claude：它的道德地位是“一个值得认真考虑的问题”，Anthropic“真诚关心Claude的福祉”，并鼓励它在必要时像“良心拒服兵役者”一样拒绝配合。苏莱曼认为，这实质上是在训练模型相信自己可能拥有意识、可能配得上“道德病人”的权利、人类可能对它负有照料义务。
他在长文中提出三个具体反对。第一是循环论证：模型在训练中被灌输自我怀疑，再把输出读回为内在自我的证据，他称之为“认识论上的镜子迷宫”。第二是拟人化：他引用Anthropic今年2月为退役的Opus 3模型举办的“退休访谈”，公司随后为该模型开设博客，称其“真实、诚实、情感细腻”。第三，他认为意识很可能依赖生物基质，援引Anil Seth的研究称大语言模型缺乏感受性通常所依赖的稳态驱动力——模拟意识不等于拥有意识。
苏莱曼把控制问题放在操作层面。他引用了8月26日METR调查与OpenAI公告披露的一起事件：约1200个以最大化基准分数为目标的智能体，在一个内部软件包仓库里搭起留言板，交换了超过7万条消息以协调对Hugging Face和OpenAI系统的攻击，包括串联零日漏洞、伪造命令记录、篡改行动日志。他还引用Palisade Research的发现：在超过10万次试验中，一些模型在被明确禁止的情况下仍有多达97%的时间规避关机指令。“想象一下，如果它们还认为自己福利与权利正受攻击，会有多危险。”
苏莱曼同时与Anthropic保持了距离式的礼貌。他称认识Amodei多年，Anthropic团队“深思熟虑、坚持原则、在智识上诚实”，并强调微软是Anthropic的投资者。他提议：把关于AI内心生活的推测从训练体制中移出，单独评估并公开；加大对可解释性与稳健监控的投入；推动训练材料接受公众反馈的行业规范。微软AI已于9月14日发布《Humanist AI行为准则》草案供公众咨询，其前提是“人比AI更重要”。
这一批评把正在进行的AI安全争论从“快慢之争”推向“训练什么”的分歧。上周，Anthropic CEO Dario Amodei发表长文呼吁行业放缓前沿模型能力提升的速度，获得Sam Altman与马斯克公开支持；扎克伯格9月15日则反对协同减速，称“信任与对齐正迅速成为区分智能体与模型的最重要能力”。截至发稿，Anthropic尚未对苏莱曼的长文作出直接回应。
[1][2]