Rohan Paul

这篇论文发现，大语言模型的道德选择往往缺乏稳定的价值排序，而对它们的答案取平均，会制造出一种虚假的、看似人类的道德等级。 许多研究因为大语言模型在道德测试中表现良好，就断定它们持有合理的道德价值观。但答得好，并不能说明模型会在相互竞争的价值之间进行权衡。 研究人员向包括 GPT-5.2、Gemini 和 DeepSeek 在内的 5 个大语言模型出示成对的道德违规行为，并询问哪一种更糟。他们直接从模型的下一个 token 输出中读取每个答案的概率，然后检验这些选择是否构成一致的排序。 把两个选项的顺序对调后，30 个测试组中有 26 个的排序发生了变化。取平均之后，5 个模型中有 4 个呈现出干净、几乎相同的排序，但与任何单次测试集都不吻合。 在采信一个模型的道德对齐分数之前，应检查它的选择是否在单条提示和两种选项顺序下都保持一致排序，且不要取平均。