Hamel Husain

令人惊叹的 BenchmarkGate [1] 由 @xeophon 透露，他在流行的基准测试中发现了严重（甚至滑稽）的问题： AutomationBench：“[强制模型]用散文而不是 JSON 模式描述其请求主体”😅 他还修复了分级机的一些问题，与上述问题相结合，导致基准测试接近饱和！ OfficeQA Pro v2：评分器使用正则表达式和基于 Python 的提取，这会导致拒绝许多有效答案。 此外，有证据表明模型使用网络访问从 HuggingFace 检索答案键（收据在帖子中）。 通过这些和其他修复，这再次导致基准测试接近饱和！ 查看数据而不是信任第三方的指标非常重要。 更好的是，您应该依靠自己的私人评估。 [1] BenchmarkGate：基准的可信度与人们对其的依赖程度之间的差距。