Rohan Paul

《华尔街日报》刚刚报道：人类研究员雅各布·考克森 (Jacob Coxon) 正在退出人工智能，因为他认为自我改进模型到 2027 年可能会变得无法控制。 他说：“我们正面临许多最严重的情况，到明年年底，情况可能已经失控。” 他的恐惧集中在递归的自我完善上，即人工智能接管足够的人工智能研究，以加快能力日益增强的继任者的发展。 他从 OpenAI 转向 Anthropic 专门是为了安全工作，但他表示，如果没有协调一致的约束，即使是真诚的保障措施也无法克服竞争。 最有趣的一点是，尽管 Anthropic 相信 Coxon 非常重视安全，但 Coxon 仍要离开。 Anthropic 价值 2 万亿美元的 IPO 使这种紧张关系变得如此明显。 Anthropic 同时要求世界相信两件事：日益强大的人工智能可以创造巨大的经济价值，有可能支持 2 万亿美元的公共估值，而当能力跨越危险的阈值时，发展最终可能需要放缓。 这些立场造成了一个艰难的治理测试：当遵守安全承诺变得商业成本高昂时，安全承诺是否仍然具有约束力。