Hamel Husain

开源软件和人工智能基准之间存在错误的等同。 争论的焦点是，我们不应该花精力批评基准，而应该改进它们。 与 OSS 软件不同，基准测试结果仅用于表面价值的决策。 它们目前的使用方式类似于 Yelp 或信用评分，而不是像可以分析的信息数据集 基准没有附带免责声明，人们没有意识到它们有多么脆弱。 消费者没有数据技能来分析痕迹并了解基准的局限性。 有本事的人也不会质疑，看到痕迹都会震惊。 所以，是的，我认为更多的人应该抱有健康的怀疑态度。 现在，大多数人并没有意识到他们在看什么。 最大的问题是基准的营销与其真正衡量的内容之间存在巨大的不一致。 我认为需要围绕基准进行沟通，而不是转移对基准的批评。