Rohan Paul

清华大学和微软的新论文发现，DeepSeek Harness 在 98 个 HumanEval 任务中使用的令牌比原始版本少了 87.93%，而成功率从 71.43% 上升到 85.71%。 Codex 和 DeepSeek Harness 等代理工具在每个工具结果后调用 LLM 以选择下一步。通常该步骤已经决定，例如在代码编译后运行测试。 HarnessMM 让模型使用精确的参数编写未来的命令，并对每个命令进行检查，例如是否成功构建。当工具结果通过检查时，代理运行命令并跳过 LLM 调用。 在 98 个 HumanEval 任务中，Codex 保持了 90.82% 的成功率，同时使用的令牌比普通 Codex 少了 29.54%。 DeepSeek Harness 的成功率从 71.43% 上升到 85.71%，并且使用的代币比原来少了 87.93%。 如果您的代理运行可预测的链（例如写入、构建、测试），请让模型通过通过检查对它们进行一次计划，而不是重新询问每个步骤。