Rohan Paul

人工智能训练的不同阶段可以分解为单一方法。 卡内基梅隆大学的新论文表明，预训练、微调和强化学习可以共享单一训练规则，并且混合数据通常会击败单独的阶段。 LLM 通常分阶段进行训练：预训练、训练中期、微调，然后是强化学习，每个阶段都有自己的算法。阶段之间的硬切换也可能会抹掉早期的技能。 作者重新设计了一种称为 MaxRL 的强化学习形式，作为对模型自身正确答案的似然训练。这使得一名培训师可以随着时间的推移以任意比例混合预训练文本、精选数据和强化学习样本。 在 124M 模型的推理谜题中，最好的混合运行击败了最好的分阶段运行，并且更好地保持了一般技能。在稍后对 RL 进行编码后，在数学 RL 期间混合了 5% 中间训练数据的 0.76B 模型在 MBPP+ 上达到了 32.69%，而分阶段训练为 29.81%。 将训练管道视为数据混合计划，并尝试将早期数据混合到 RL 中，而不是突然切换阶段。