Rohan Paul
@rohanpaul_ai
谷歌和香港大学的新论文认为，当人工智能代理使用计算机时，他们自己的“任务完成”消息不应该被视为证据，而应该检查保存的文件和应用程序数据。
当编辑从未保存或仅完成部分时，计算机使用代理可以报告已完成的任务。常见的检查器要么判断一些屏幕截图，要么运行 1 个生成的脚本，两者都可能错过决定性的证据。
VeriCUA 探索应用程序以构建需求清单，然后运行屏幕或代码检查（例如文件读取），直到解决每个项目。代理人自己声称的成功永远不能作为证据。
在 ScienceBoard 上，其误报率为 5.4%，而 VLM 判断器的误报率为 24.8%，生成的脚本验证器的误报率为 21.7%。在 3 个在线环境中，它拒绝了大约 80% 的虚假完成报告。
如果代理运行提供您的评估、训练数据或 RL 奖励，请检查保存的机器状态，而不是信任屏幕截图或代理的报告。
