Rohan Paul

新的 Meta 论文发现，从带水印的 API 输出中提取的模型在其权重中保留了隐藏的、特定于密钥的跟踪，并且可以单独从副本的文本中读取该跟踪。 今天的检测器会计算嫌疑人文本中的水印标记，并错过大多数通过低温采样制作的副本。 他们发现，带有水印的痕迹将学生的体重推向一个微弱的、特定于琴键的方向。 WM-Basin 将嫌疑人的 API 输出转换为固定探针模型的梯度，并测试它们是否与诱饵上的真实密钥匹配。 在误报率为 0.1% 的 1,200 个精炼模型中，它捕获了 79% 的 n-gram=1 水印，而令牌计数的捕获率为 29%。量化、轻度剪枝和强化学习后训练并没有消除痕迹，尽管对干净数据进行更多微调削弱了痕迹。 – arxiv。组织/abs/2610.37266 标题：“水印盆地：蒸馏法学硕士的黑盒检测”