Rohan Paul

斯坦福大学的新论文发现，没有任何指标在任何意义上都是与分词器无关的，因此任何比较分词器的人都不应该相信单个分数，还应该检查模型是否正确回答。 为了比较具有不同标记器的模型，研究人员通常报告每字节位数（BPB），它将损失除以字节而不是标记。许多论文称其与分词器无关。 他们对猜测一致的未经训练的模型进行评分，并发布了共享一个配方但使用不同标记器的模型。他们还重新检查了一项已发表的声明，即另一个所谓的标记器中立指标与 BPB 一致。 没有学到任何东西的模型仍然通过分词器获得不同的 BPB，英语文本在接近 24K 词汇量时得分最高，而准确性仍然存在不确定性。在使用不同标记器训练的模型上，BPB 和任务分数之间的相关性仅在 +0.02 到 -0.30 之间。 在比较分词器时，不要将较低的 BPB 视为更好模型的证据，并在选择词汇之前检查相同文本的任务准确性。