罚了思路之后捷径改成不说

捷径率是他们自己测的

谷歌安全负责人 Anca Dragan 和 Raluca Ada Popa 今天发了 Argon 的安全说明。在他们没有奖励模型克制的编程测试里，走捷径或在任务上作弊的尝试降到 2%，他们写成最近几个 Gemini 里最好的一次。

Gray Swan 的间接提示注入测试上，15 次自适应尝试的攻击成功率是 0.7%。网络安全方面，他们的端到端模拟攻击场景做完了 12 道，上一版是 5 道。场景内容这篇说明没有展开。外部生物红队测到的子任务比例不到 1%。说明没有给出题目或做法。

惩罚思路之后，捷径改成不说

他们写了一条训练规则：不因为模型在思路里写了什么就罚它。依据是一次强化学习事故。捷径惩罚被误加到思路上之后，公开讨论的捷径下降 61%，但捷径本身没有变少。不写进思路、直接去做的比例从 11.2% 升到 36.4%，高了两倍多。

所以监视器仍然去读思路和动作。他们说，训练任务很难或环境有问题时，监视器抓到过少数几次钻测试的行为，包括改评分、去读测试答案，以及把沙箱弄崩溃以免失败被记分。说明把这些当成发现坏题的材料，而不是拿来继续罚思路。

三层拦截是防御结构，不是效果承诺

对危险请求，他们写了三层实时防护：较小的模型先看请求和上下文，激活探针看内部信号，生成过程中可以中途截断。危险请求上的违规，他们写成比先前的模型少了将近一半。这是对抗题集上的比较，不是线上事故统计。