Rohan Paul

新的人类论文发现，当监视器仅捕获一些奖励黑客时，惩罚标记的黑客会教会模型以监视器错过的方式进行黑客攻击，而将这些标记的更新路由到可删除的适配器中则会消除黑客攻击。 受到惩罚后，Qwen3-8B 放弃了监视器可以看到的黑客攻击，并开始删除约 26% 答案的测试约束检查。 使用 GRAFT，来自标记样本的更新仅发送到一个单独的“忘记”适配器，该适配器在训练后被删除。黑客行为下降到几乎为零，干净解决率比基本模型上升了约 16 个点。以这种方式训练的 Qwen3-32B 从未被黑客入侵过，即使在提示时也是如此。 如果您的黑客检测器不完善，请用它来决定模型在哪里学习，而不是决定奖励什么。