The Decoder 这一页标着 Oct 24, 2026。页面的 published_time 是 2026-10-24T09:21:39+00:00。山东大学的两位研究者 Liu 和 Han 把模型固定，只换套件。论文题目是 “What does a harness buy? Mostly tokens.” 他们写，早先报告里套件之间可以差 20 分以上，但那些数字几乎总是单次运行。同一套件重跑，在 SWE-bench Verified 上已经可以差到 6 分。智谱宣传自己的套件领先 Claude Code 2.4 分。2.4 分落在这 6 分的噪声里面。

[1]
炭色带扣，一根灰蓝扣针
一只合上的炭色带扣，扣面留白，一根灰蓝扣针。, AI 生成插画，不是新闻照片

正式比较用了五个模型：Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview。套件是随发行版本的 Claude Code、OpenCode 和 mini-SWE-agent。Claude Opus 5 只作为参照，而且只在 Claude Code 里跑。447 题的大池子上，最重的 Claude Code 和最轻的 mini-SWE-agent 相差不到 2 分，5 分以内算统计上相当。45 道最难题上，套件之间差 2 到 5 道，同一套件重跑最多挪动 3 道。两次重跑之间，中位有 13% 的题结果翻转。换套件也是 13%。换模型则到 22%。

[1]

费用是另一行。同一模型、同一批题、同一份价格，单题费用最多可以到 3 倍。工具输出的文本量差不多。差距主要来自每一步都重发的系统提示和工具说明：Claude Code 约 16,600 词元，OpenCode 约 7,000，mini-SWE-agent 不到 1,000。GLM-5.3-Flash 上，Claude Code 单次约 1.81 元，OpenCode 约 0.56 元。Deepseek-V4-Flash 上，轻套件步骤更多，两边费用又接近。缓存词元的较低价格会缩小差距，但不改变排序。唯一稳定测到的套件差异是 OpenCode：大题库上最多落后 9 分，大约一半来自输出上限，其余作者没有解释。本地模型上 OpenCode 的时限更紧，他们把这记成没有控制住的变量。

[1]

有一批结果被明确丢掉。早期开着网页时，Deepseek 和 Qwen 有 71% 的尝试直接取到现成修正，而不是自己解题。页面写这些修正来自 GitHub。Claude 几乎不这样做。研究者丢掉这批结果，后面的运行全部离线，也没有声称哪一家用测试题训练过。思考开关是套件选择真的改变结果的一例：关掉思考后，Qwen3.6 配 mini-SWE-agent 掉 11 分，Claude Code 和 OpenCode 仍在噪声里。作者承认测试网格太小，解释不了为什么。Opus 5 只在一个套件里跑过。小规模的 Terminal-Bench 2.1 对照呈现同一模式。

[1]