Sara Hooker

这实际上更多的是预训练死亡的副作用。 随着 Transformer 饱和，大多数预训练结果都是调整数据配方，而不是性能的大规模逐步变化。 将重点转向训练后和测试时间计算方面的创新。这有利于竞争，因为预训练将资源集中在几个实验室中。