Hugging Face的Harness Adapters配图:紫色背景上有Hermes、pi、OpenCode和Qwen3.8-27B的标志。
图片来自Hugging Face关于工具循环适配器的文章。, Hugging Face

2026年11月20日,Hugging Face发表了一套它称为harness adapters的做法,也就是工具循环适配器。具体是在模型稍后真正要使用的智能体软件内部,用强化学习训练小型LoRA附加组件。文中的harness指的就是这套软件循环,例如pi、Hermes Agent或OpenCode,不是比喻。在Qwen3.8-27B上,关闭思考模式后,公司为pi循环训练的专用适配器,把SWE-bench Pro最难的51项任务的pass@1从39.2%提高到64.7%。在两种模型都做对的任务上,工具调用次数也明显下降。

这个结论很容易被读过头。它并不能证明Qwen3.8-27B现在成了一个普遍更强的模型。它证明的是:在一个工具循环内部、针对经过筛选的编程任务做训练,可以提高该循环里的准确率,并减少无效步骤。一个试图同时服务三条循环的合并适配器,保住了部分收益,但在pi下吐回了很大一部分。在AutomationBench上的另外一项测试使用该基准自带的循环,成绩则接近基础模型。

[1]

Hugging Face在Qwen3.8-27B上为每条循环训练了一个LoRA适配器,训练器是TRL的AsyncGRPOTrainer。三条循环分别是pi 1.5.2、OpenCode 2.2.7和Hermes Agent v0.22.6。训练时关闭思考模式。奖励是校验器的通过或失败,外加一个0.1的少用工具奖励。每次适配器训练使用两块NVIDIA B200 GPU。三次训练合计598步、78114个样本、1.67亿个token。名为safeagents的安全过滤器检查了130万次工具调用,拦截了其中647次。

训练任务的筛选是为了避开一个常见陷阱。在442个已评分任务中,基础模型有151个每次都能做对,有120个一次都做不对。只有它有时做对、有时做不对的171个被当作合格任务,因为一种把同题多次尝试互相比分的方法,在全对或全错时几乎学不到东西。Hugging Face也剔除了有问题的校验器。最终数据混合是750个自建环境中的任务,外加300个来自Termgrade的任务。

评估在与训练相同的Harbor和OpenEnv栈上运行,每题一次尝试,温度为0.8,除非另有说明,否则关闭思考。团队明确写了,不同循环之间的分数不应直接比较。Pi不会保留先前的推理轮次,OpenCode和Hermes会,这在上下文被填满时,主要影响SWE-bench Pro的成绩。

在循环内测试中,三个专用适配器都超过了基础模型。在SWE-bench Pro最难的51项上,hermes从29.4%升到43.1%,opencode从35.3%升到51.0%。在全部89项Terminal-Bench 2.1上,pi提高了16.3个百分点,hermes提高了14.1个百分点。opencode总体提高6.0个百分点,在未被用来挑选其检查点的66项上提高13.6个百分点。在适配器与基础模型都做对的任务上,SWE-bench Pro的工具调用减少了56%到72%,Terminal-Bench 2.1减少了53%到70%。

[1]

Hugging Face还把三个LoRA合并成一个秩为96的超级适配器,使用一半强度的更新。这个二分之一权重是用更早的检查点、在Terminal-Bench 2.1上选出来的,因此按作者自己的说明,Terminal-Bench上的合并数字略偏乐观。SWE-bench Pro没有参与权重选择。

在每次运行都评分的任务上,合并比较把权衡显示得很清楚。关闭思考时,pi专用适配器在SWE-bench Pro难题上达到64.0%,超级适配器则降到46.0%,只略高于该表中基础模型的40.0%。Hermes和OpenCode保住了更多收益,在Hermes的一个格子里,合并结果甚至略高于专用适配器。Hugging Face的建议很直接:如果你只用一条循环,并且关闭思考,就用那条循环的专用适配器。

打开思考、并使用默认的xhigh力度时,这个并未在思考模式下训练的超级适配器,仍在全部六组循环与基准组合上达到或超过思考模式下的基础模型,平均pass@1从55.5%到63.5%。在pi下的SWE-bench Pro上,仅打开思考就已达到74%,超级适配器与之持平。效率方面的好处仍在:关闭思考时,在它与基础模型都做对的任务上,超级适配器少调用53%到73%的工具。

当同一批适配器在300项AutomationBench商务自动化任务上、并改用该基准自己的循环时,差距被压平了。基础模型的pass@1是23.0%。pi和OpenCode适配器略高,分别为27.0%和25.3%。合并适配器几乎持平,为23.7%。Hermes落后,为17.7%。Hugging Face把其中多数差距视为噪声,Hermes或许除外,并认为在编程循环里做的训练,既没有明确迁移到这种设定,也没有明显把模型做坏。

[1]

作者还检查了轨迹,并追问模型到底学到了什么。在非思考模式下,适配器常常在调用工具前先写一小段文字,有时像推理痕迹;基础模型则几乎不加前言就调用工具。他们把这写成一种推理泄漏:关闭思考的模型,找到了一种接近思考版本的办法。他们并不认为这让分数作废,因为比较使用了固定的token预算。但他们也说,后续应当直接训练思考模型和混合模型。

文中两张表还使用了略有不同的任务子集,因此标题百分比也略有出入,例如pi专用适配器在SWE-bench Pro难题上是39.2%到64.7%,另一处是40.0%到64.0%。差别不大,但引用时应当说明对应的是哪张表。

[1]

关于泄漏的说明,是最公道的反驳。如果很大一部分收益,其实是在「关闭思考」的标签下做了廉价推理,那么一旦开始专门训练思考模式,专用适配器与思考基础模型之间的标题差距可能会缩小。pi在SWE-bench Pro上与74%持平,已经暗示了其中一个格子里的上限。AutomationBench的结果则提示了另一条界限是,换了任务,也换了循环,适配器就不再是一次通用升级。

更窄的主张仍然成立。在同一套智能体软件、同一类编程任务里,一个在该循环中训练的小型适配器可以提高pass@1,并减少工具调用。Hugging Face已经公布了适配器、训练任务和评估轨迹。要核对的是这些对象。

[1]

未来六个月更有用的检验是:其他团队能否在自己的软件上复现循环内的收益;以及在思考模式下训练的适配器,是否仍能在不依赖这种泄漏办法的情况下减少工具调用。也应看目标循环自身改版之后会发生什么。那会说明这套做法是绑在pi、Hermes或OpenCode的某一个快照上,还是经得起一次普通的软件更新。

[1]