Sebastian Raschka
@rasbt
从头开始推理第8轮，结局！
本系列的最后一讲介绍了蒸馏作为之前强化学习训练运行的有效替代方案。
（本来打算休息一下，但我会回来的！）
00:00 介绍和系列回顾
01:07 为什么要提炼推理模型？
02:51 软蒸馏与硬蒸馏
11:06 在政策与离政策蒸馏
18:09 准备推理蒸馏数据
22:35 加载 DeepSeek R1 MATH 数据集
28:04 检查推理痕迹和最终答案
31:27 标记化和聊天模板
35:58 预标记训练数据集
39:01 序列长度和 2,048 个令牌限制
42:38 创建训练和验证分组
45:32 加载Qwen3-0.6B基础模型
46:24 计算答案标记对数概率
54:10 蒸馏的交叉熵损失
57:25 训练和验证损失助手
1:02:03 实施蒸馏训练循环
1:07:26 运行独立训练脚本
1:09:41 绘制训练和验证损失
1:11:31 评估 MATH-500 上的检查点
1:14:09 比较老师和蒸馏结果
1:16:34 推理模型的未来方向
1:19:41 额外练习和后续步骤
