Rohan Paul

亚马逊的新论文发现，用于对人工智能模型进行税务、法律和商业规则评分的基准通常会将正确答案标记为错误，因为测试本身的答案键或评分代码包含错误。 RuleArena 和 LegalBench 等基准测试模型是否将书面规则应用于税务、法律和商业案例。如果参考答案或评分器错误，则分数衡量基准的错误，而不是模型。 他们通过追踪参考源规则、重新运行参考程序以及使用受控答案测试评分者，审核了 9 个公共基准。然后，他们在每次修复后对相同的已保存模型响应进行重新评分。 LegalBench 的税务记分器删除了小数点，因此 259,487.13 美元被解读为 25,948,713。解决这个问题后，3 个模型中每一个模型的可接受答案都从 8 或 9 分提高到 87 到 91 分（满分 96 分）。 在相信遵循规则的基准测试中得分较低之前，请阅读评分器代码并手动检查一些失败的答案。