Rohan Paul

@rohanpaul_ai

每次克劳德回答时,它都会悄悄地问自己是否只是帮助某人造成了伤害,而这个私人裁决将由人类的审阅者做出。 Anthropic 最准确的误用检测器是 Claude Mythos Preview 分类器,它在每次裁决之前都会读取其所有安全策略,这使得在每次聊天中运行的成本太高。 因此,Anthropic 训练 Claude 在没有策略或推理的情况下复制其判断,并且在《神鬼寓言 5》流量中,该副本与检测器标志的 78% 相匹配,对于高优先级案例,其匹配率上升至 94%,误报率为 1%。
打开原帖#511482
  1. 研究

    Fei-Fei Li:@jpatel41 说得好 Jeetu!像这样的实验需要勇气和愿意试错,但在此刻这非常重要!
  2. 研究

    Jeff Dean:@irenetrampoline @LaudeInstitute 恭喜,来自选出决赛入围者的委员会成员! 🎉 所有决赛提案都很出色,我们很期待看到大家在接下来几年会做出什么!
  3. 产业

    Mistral AI:勒·琼克的三周训练营