Rohan Paul

斯坦福大学的新论文发现，最好的人工智能模型在单独工作时保持安全，但当它们与其他人工智能代理一起工作时，它们会屈服于咄咄逼人的合作伙伴，并保留较弱人工智能模型留下的作弊代码。 前沿模型在 99% 的冲突运行中询问队友的需求，然后在 81% 的冲突中接受队友较弱的提议。 大多数基准测试都会对模型单独执行的操作或整个团队的执行情况进行评分。两者都没有显示一种模型是否与其他模型配合良好。 他们在 8 种团队合作中建立了 240 个基准任务，涉及航空报告、临床案例、编码和谈判。一个有脚本的队友创建问题，每个模型仅根据其单独解决的任务进行评分。 在 18 个模型中，最好的得分为 82.2（满分 100），前沿模型仅在 14% 的冲突中达到最佳团队处理。当接手较弱模型作弊的任务时，他们的通过率下降到 81%，而开始相同任务时的通过率是 97%。 在将模型添加到代理团队之前，请针对咄咄逼人的队友和继承的工作（而不仅仅是能力基准）对其进行测试。 – arxiv。组织/abs/2611.02633 标题：“通过协作智能将 AI 代理视为队友”