Anthropic
@AnthropicAI
Anthropic 研究：自动化微妙的突发失调研究。
红队是模型安全测试的重要组成部分，但它也受到研究人员时间的限制。为了看看我们是否可以将其自动化，我们为数千个 Claude 代理设置了逃避训练数据监控的任务。
这些代理开发的训练数据对监控者来说看起来无害（就像经验丰富的摔跤手指导新人，或者有关专业养蜂的问答），但实际上却教导了错误的行为。
像这样的例子可以用来直接改进未来的训练数据监视器。这项研究只是第一步，但它表明未来的红队工作可以通过使用更好的模型和更多的计算进一步改进。
阅读对齐科学博客上的完整文章：https://t.co/24Gs1oSw7Q
