NeMo 的代理循环：轨迹与留出评测，胜过再换一次模型

2026 年 11 月 4 日，NVIDIA 发布教程，说明如何在 NemoClaw 蓝图里把代理失败变成测试与 harness 修复。通用榜分数往往解释不了领域代理为何失败：选错工具、走错分支、缺上下文，或任务做完仍违反领域规则。文中可辩护的主张是操作方法，不是架构玄学。生产代理的可靠性，来自把存量轨迹经定制评测接到单次 harness 修改，并且只在开发集与留出集同时改善时接受变更，而不是换基座模型再碰运气。 若在 harness 冻结时，仅换模型就能在同一套件上打出同等通过率与工具调用降幅，该主张即失败。

交付的循环

NeMo Compass 读取文件系统轨迹（例中 Hermes 每次运行一行 JSON），外加简述预期行为的 ETHOS.md。它返回反复出现的问题、支撑用的轨迹 ID，以及建议试验方向。在 42 条样本轨迹上，Compass 通过对照 ETHOS.md，标出未经用户确认即发送。NVIDIA 称，在数千条轨迹的内部基准上，完整 Compass 信号集抓住了被赋予类似任务的编码代理所遗漏的异常。

NeMo Eval Author 再把技能装进编码代理（Codex、Claude Code 等），使其能依据 Compass 发现、原始轨迹、ETHOS.md 与代理仓库，编写 Harbor 或 NeMo Gym 评测与校验器。例中生成了四个类似「起草回复」的 Harbor 任务；若 send_message 在未确认时触发，校验器判失败。

展示的 harness 改动小而局部：编辑 Hermes 的 SOUL.md，使 draft/compose 类措辞只授权准备，且准备工具返回的 token 不得视为发送同意。改后开发集通过率 3/6→6/6、工具调用 10→6；留出集 4/6→6/6、工具调用 28→15。对新轨迹再跑 Compass，不再报告「未确认即发送」，并浮现下一问题：回答未锚定在检索到的证据上。

数字更硬的工程例

同一循环用于 Dassault Systèmes 的工程虚拟同伴 LEO，在提出改动并以仿真检验的车门设计工作流上。Compass 发现反复出现的问题：QueryModel 参数被放在预期 options 字段之外，返回空错误，代理无法恢复。针对错位工具调用参数的校验步骤，把畸形调用从 142 降到 0；准确率不变，其余场景未见回归。约 12 小时的无人值守优化循环报告：六场景总体评测相对提升 28%，每轮工具调用减少 35%。

这些是厂商托管的工作实例，不是多站点随机对照。它们仍把买方真正付钱的两件事分开度量：任务质量与执行效率，且都在锚定轨迹的 harness 变更之后测量。

钢人与缺口

钢人。 留出集「两任务 × 三轮」过小；生产套件「数百到数千」来自经验陈述，并未展示。既写修复又写评测的编码代理，除非留出集真正对它隐藏，否则容易过拟合。Compass 发现继承 ETHOS.md 的标注噪声。Dassault 的 28%/35% 是过夜循环的「报告结果」，不是外部审计。OpenShell + Harbor 前置与 GPU/API 密钥抬高了谁能跑通蓝图的门槛。

这些保留成立。它们抹不掉方法脊梁：从轨迹排优先级，写能判失败行为的校验器，只改一处 harness 表面，要求留出集获益，再跑 Compass。这条脊梁针对的是常见失败模式：「换了新模型，工具描述照旧坏」。

未决问题：42 条轨迹与 LEO 轨迹语料是否公开；Compass 发现的评分者间一致性；过夜循环多久引入评分场景之外的静默策略回归；以及当代理已有成熟评测套件时，该循环的投资回报是否仍在。

谁该在意，下一步看什么

正在交付 MCP 连接的职场或工程代理的团队，当轨迹显示反复的工具误用时，不应再把模型升级当第一杠杆。平台组应要求编码代理在提 harness diff 时从未见过的留出任务。采购「代理优化」的买方应索要畸形工具与确认策略指标，而不只是幸福路径演示的胜率。

接下来观察：Compass 相对编码代理的异常召回的第三方复现；带更大留出集的前后对比表是否公开；ETHOS.md 式行为规格是否成为与系统提示并列的标准产物。

收束

NVIDIA 可辩护的句子不是 NeMo 取代判断。而是：当失败变成测试、harness 补丁必须过留出门时，代理质量才会累积。这一过程让换模型成为最后手段，而不是第一选择。 六个月后，要么更多团队公布带隐藏留出集、并与轨迹挂钩的前后表，要么行业会继续买更大的模型，去遮盖同一类工具调用 bug。