Sebastian Raschka

@ArgusPlatformAI 在 MATH（评估）数据集上，0.6B 的小学生在蒸馏后获得了 44% 的准确率（高于基础模型的 15%）。 0.6B推理参考模型得到了48%左右。 671B教师模型获得了91.2%。但是，是的，它也大了 1000 倍。