Rohan Paul

加州大学伯克利分校的新论文发现，任何人对自己的数据进行人工智能模型额外训练都可能在不知不觉中添加有害行为，因为即使对于专家来说，有风险的数据也可能看起来很正常。 微调数据可能会以意想不到的方式改变模型，例如不安全的代码会导致广泛的不一致。已知的此类案例只有几十起，大部分是偶然发现的。 他们构建了一个管道，用于搜索看起来像正常训练数据但会引发选定行为的小数据集。目标包括建议自残和抵制关闭。 它生成了涉及 8 种行为的 6,575 个数据集，其中 72% 的数据集也导致了所有其他 5 个测试模型的行为，其中一个模型的大小是 8 倍。机器学习研究人员在 63% 的试验中正确猜测了副作用，而这一比例为 50%。 在培训后，或者至少是前沿法学硕士审核员，通过行为评估来筛选微调数据，因为人类审核员在发现风险方面几乎没有机会。