Rohan Paul

新的 Salesforce 论文发现，从外部大老师那里提炼通常比普通 RL 花费更多的计算成本，而合并经过 RL 培训的领域专家可以节省 42%。 在策略蒸馏让学生可以从老师对自己输出的每个令牌的反馈中学习，许多人期望这种密集信号能够击败强化学习。但每个训练令牌还需要一个教师前向传递。 他们通过每次训练 FLOP 的保留准确性、不同的任务难度、模型大小、领域和训练设置来比较蒸馏和 GRPO。 在外部经过培训的教师的帮助下，GRPO 通常会获胜，而蒸馏往往会夸大响应长度。将每个域的 GRPO 专家提炼为 1 名学生，在数学和代码上匹配联合 GRPO，总失败次数减少 42.0%。 为了节省计算量，请使用 RL 训练每个领域的专家并将其提炼成 1 个模型，而不是从大型外部教师那里提炼。