Rohan Paul

一篇对选择 skill 文件很有用的论文。 在蒸馏 skill bank 之前，先记录哪些 skill 能持续给出稳定训练信号，其余丢掉。 纽约大学与亚马逊的新论文发现：只蒸馏少数持续产生有用训练信号的 skill，效果可匹敌甚至超过蒸馏最多大 11 倍的完整 skill bank。 Skill 是简短书面提示（例如计数规则一类），模型通过向「会读这些提示的自身副本」学习来吸收。按主题匹配挑选时，不到 25% 能在 3 个 Qwen 模型上给出有用信号。 SGUID 只保留「训练早期有用、晚期仍有用」的 skill。用 6 个这样的 skill，4 个模型里有 3 个在数学竞赛测试上达到或超过了完整的 30–71 个 skill bank。第二轮再加 3 个新 skill，把 Qwen3-8B 从 64.3% 提到 66.3%。