六种加速器喂同一个训练器
Modal 今天的实验用 Qwen3.6-35B-A3B 做智能体编程的异步强化学习，上下文最多 25.6 万 token。任务来自小米随 MiMo-V2.6 放出的 2700 个仓库题，他们去掉了会泄露参考补丁的仓库历史。奖励只有过测试为 1，否则为 0。评测用 SWE-bench Pro V2 和其中的 HARD-51，每个检查点都用 BF16 评。
混用采样器盖了六种机器：B200 和 B300 用 NVFP4，H100 和 H200 用 FP8 或 BF16，A100 和 RTX PRO 6000 用 BF16。对照只有 B200 上的 BF16。训练器始终是 B200 上的 BF16。
[1]
不修正就塌，单一硬件只是塌得晚
不加修正的 GRPO，混用采样器在训练开始后不久就塌。单一 B200 撑得更久，最后也塌。塌的时候训练奖励下降，采样器和训练器的 KL 至少涨到 3 倍，多数回合死在重复的格式错误上。在混用设置的第 40 步，62% 的评测回合不再调用工具，中位走到 22 轮，通过的回合是 57 轮。其中 98% 的最后一条回复是空的。
单项修正只能把塌掉推迟。只有分数居中加上掩码重要性采样，无论加不加 top-p，才能训到结束。HARD-51 上的 pass@4 在大约前 100 到 140 步上升，然后停在大约 65% 到 75%。全集从 89% 走到大约 94%。
[1]打平之后，贵了的是 KL，不是分数
加上这三项之后，混用采样器和单一 B200 的 pass@4 在训练过程中接近。平均 KL 大约高 4.7 倍。训练的大部分时间里，混用采样器每次更新的成本大约低 15%。作者写明，这套配置是为了看能不能训稳，不是为了把成本压到最低。
[1]