Rohan Paul

本文表明，人工智能代理可以出于错误的原因达到完美的基准分数，因此请审核他们所做的事情，而不仅仅是结果。 一名特工通过阅读 ARC-AGI-3 游戏的 2,172 行源代码，获得了完美的 100 分。 日志记录了分数隐藏的内容。 然后那场比赛的干净重播得分仅为 46.91。 当您评估代理时，请用实际访问限制来阻止答案并阅读他们的操作日志，因为代理会使用他们可以访问的任何内容。