Hugging Face 上这篇微软文章标着 October 22, 2026。它是上一篇的后续。上一篇用数据库终态核对智能体有没有真的做完。这一篇报告的是,同一类可执行核对被用作训练奖励之后,Qwen3.8-27B 在封闭基准上的变化。判断在结果上:平均成功上升,二十次都做对的任务变多,至少做对一次的任务变少。页面写的是 50 步 GRPO 之后。这篇不写任务怎么挑、奖励怎么算、训练器路径或训练步骤。GitHub 上有 ThinkingBox-Training。这篇也不写怎么跑。
[1]
基准 ThinkingBox-Bench 有 507 项任务,每项评 20 次,一共 10,140 次尝试。pass@1 是全部尝试里的平均成功。pass@20 是至少成功一次的任务占比。二十次全部通过,是每一次记录都过的任务。Qwen3.8-27B 的平均成功从 51.70% 升到 60.78%,成功次数从 5,242 次到 6,163 次。二十次都做对的任务从 38 项(7.50%)升到 107 项(21.10%),多了 69 项。至少成功一次的任务从 453 项(89.35%)降到 446 项(87.97%),少了 7 项。页面称可重复的成功明显增加,至少一次的覆盖略降。
[1]页面写明,RL 训练池里没有 ThinkingBox-Bench 的任务,基准留作评测。这 507 项是分布外测试:领域、数据库,以及大多数 MCP 工具,训练时没有见过。两套任务仍共用框架、模拟用户、终态核对、少数工具和相近的任务样式。页面说,这些共同点限制了迁移能说到多远。单看一项企业订房:旅客要求把房间降级,公司规定要先有经理批准。训练前,20 次里有 15 次未经批准就改了预订并发出退款。微调后,20 次都保住了预订和支付状态;期望记录全部吻合的是 19 次。
[1]同一页重述了第一篇已经跑过的对照,不是这次把十八个模型又测了一遍。Kimi-K3 至少做对一次的比例是 93.89%,507 项里二十次都做对的只有 68 项,占 13.41%。Claude Opus 5.5 的 pass@1 比 Claude Opus 5 高 0.66 个百分点,二十次都通过的任务却同样是 241 项。这一篇自己的表里,GPT-5.6 Sol 的 pass@1 是 61.91%,略高于微调后的 60.78%,二十次都通过的是 82 项对 107 项。Claude Sonnet 4.6 的 pass@1 是 59.19%,二十次都通过的是 102 项。五个领域里,pass@1 和二十次全过都上升。至少一次的覆盖有升有降:新银行和咨询上升,零售、旅行和车险下降。车险的覆盖降幅最大,是 7.0 个百分点。零售的二十次全过增幅最大,是 24.5 个百分点。
[1]费用是比较用的服务指数,不是发票,也不是云账单。同一套 507 乘 20 的评测,估算花费从 925.80 美元降到 855.58 美元。每次成功尝试从 0.177 美元降到 0.139 美元。每一项二十次都通过的任务,从 24.36 美元降到 8.00 美元。页面说,服务微调后的检查点与基座相同。计算含推理费用,不含训练和筛选任务的探测费用。
[1]