Hamel Husain

我一直在研究公共基准，并对糟糕的质量和我们作为一个行业对它们的依赖程度感到震惊。 @xeophon 向我推荐了这个优秀的网站 https://epoch.ai/benchmarks/，它是一个独立的第三方，负责审查基准测试并“查看数据”💪 例如，以下是我们都依赖的一些流行基准。 在信任基准之前，值得运行基准并仔细检查分级机失败的示例，以了解质量。 我将继续对此进行更多研究，并在收集更多数据后最终会写一些东西，但我认为这是一个重要的主题。