Rohan Paul

ServiceNow 与麦吉尔大学的新论文发现：AI 评委在长程计算机使用任务里仍会漏掉细微错误，而且给它们配工具也未必可靠地改善结果。 团队常用 LLM 给智能体运行打分，用于训练与评估。一次 100 多步的运行看起来像完成了，其实可能画错了形状，或发到了错误的 Slack 频道。 他们构建了 AgentHorizon：来自人类屏幕录制的 1,373 个评判任务。人们录下近乎相同的任务对，再互换指令，使每次失败都是对略有不同请求的“干净”运行。 表现最好的评委是 Codex 里的 GPT-5.5，在困难划分上平衡准确率 80.9%；相对地，始终说“是”只能拿到 50%。Qwen 3.6 27B 用了工具反而更差：直接通读整段运行得 77.6%，作为智能体只有 70.4%。 在把 LLM 评委用于智能体运行之前，先在你将实际采用的智能体设置里，用近失手失败案例把它测一遍。