Hamel Husain

我看到了很多对此的抵制，其中有以下抱怨： 1.“基准所有者已经知道这些缺陷，并且正在努力解决。” 2.“为什么他们花时间批评而不是为基准做出贡献”或“批评已知问题没有帮助”。 3.“有缺陷的判决过于二元化” 我认为这种抵制是误导性的。 这些基准用于转移数百万美元的代币支出，许多人盲目地相信这些基准对他们自己的产品的推广效果，并且只关注标题数字。 例如，每当新模型发布时，您都会发现数千个 YouTube 视频使用这些基准之一作为主要质量指标来分析帕累托前沿，而无需质疑该基准。 我认为，通过引发怀疑并鼓励人们对这些基准在多大程度上代表了他们关心的任务形成独立的意见，我们都会得到更好的服务。 具体来说： - 对于基准测试中失败的任务，它们是否：现实、有适当的工具、正确分级、充分消除用户意图的歧义？ - 模型和 API 调用是否配置正确（例如：不一致的上下文窗口、推理级别）。 - 模型是否配备了现代安全带和足够真实的最小检索？ - 这个分数是否有意义，例如：是否只是一个 LLM 评审委员会给出了 0-100 分的分数，与事实不符？ 通常情况下，您在查看失败的基准测试任务的痕迹时会看到许多此类问题，而且不会花很长时间！通常，**您看到的第一个跟踪**有一个严重的问题。 我也不认为经过验证的判决与有缺陷的判决存在问题。 有意见是好事。 如果你充分了解他们观点背后的内容，并且发现你通常同意他们的结论，那么他们就赢得了你的信任，就像基准可能会失去你的信任一样。 我认为这种基准评估是一颗红色药丸，可以激励您投资自己的私人评估。