Hamel Husain

选择模型时是否应该依赖公共基准分数？ @VikParuchuri 在这次演讲中表示“不”。 为了说明这一点，他展示了流行的 OCR 基准测试中发现的具体问题： 解析基准： • 测试预计太阳能电池板容量为 310 吉瓦，而正确值为 303。此外，73% 的图表测试要求的值未打印在图表上。 （4:51） • 测试要求“Parish Priest:”为粗体，即使这些词在源文档中不是粗体。 (15:33) • 记分员无法识别放置在不同行上的标题标签。 (16:15) •dots.mocr 在六个模型中排名垫底，尽管它在内容和表格方面击败了排名第一的模型。 这是总体基准分数如何隐藏模型功能的重要差异的示例。 (14:48) olmOCR 工作台： • 模型正确地保留了文档中的换行符，并因此受到惩罚。 （10:30） • 当文档说“共和党”时，测试期望“共和党”。正确复制大小写会使模型失败。 (10:49) • 重写模型输出的 700 行后处理器增加了 1 到 2 个点，超过了模型之间的许多差距。 (12:12) OmniDocBench： • 该基准测试使用编辑距离，它对用 HTML 编写的正确表格的惩罚比对 Markdown 中错误数字的惩罚更严重。所以格式比答案更重要！ （6:58） 这只是冰山一角，视频中还有更多示例。 章节： 0:00 当每个供应商都声称自己是第一时选择模型 1:54 如果没有更好的 OCR，OCR 基准分数如何提高 5:30 拒绝正确答案的度量设计和测试 11:33 后处理、饱和度和误导性模型排名 12:40 如何按任务划分基准并检查偏差 16:53 如何建立具有经过验证的答案和一致评分的公平测试 19:05 如何在自己的文档上测试 OCR 模型 24:10 基准营销、私人评估以及如何选择模型