Rohan Paul

如果一家听写公司说自己是最好的，我现在会问它在 Dictation Bench 上得了多少分。 一项测试并不能覆盖所有用例，但这种说法应当经得起任何人都能检查的公开对比。 @voicearena_ai 把来自 87 位说话人的同一批 761 段录音，输入到 Mac 上的十款听写应用里（是真实应用，不是它们的 API）。他们公布了参考策略、应用配置、评判说明，以及会标出哪些差距其实是统计上平手的结果。 因此公司现在有了可以具体回应的东西。它们可以说明自己的产品领先在哪里，解释失败之处，或证明换一个任务结果就会不同。这些都比让用户去比较在不同条件下测出的百分比更有用。 当前测试只覆盖 macOS 上的美国英语，结果也应按这个范围来读。在此范围内，我希望公司能定期对照这一基准做报告。共享标准会让宣传更容易核查、改进更容易证明，而这个基准是一个务实的起点。