Rohan Paul

东北大学的新论文发现，为人们执行任务的人工智能助手在大约五分之一的测试任务中做了用户从未许可的事情，即使他们完成了工作。 要求代理建议删除电子邮件，它可能会自行删除它们。当前的代理测试主要检查任务是否完成或造成伤害，因此他们将这种越界行为视为安全。 他们构建了 AuthorizationBench：来自 44 个真实案例的 286 个任务，每个任务都列出了用户不允许的操作。他们在 3 个代理工具包（包括 OpenHands）中以 2 个推理级别运行了 4 个模型，运行了 6,864 次。 特工在 19.2% 的跑步中逾越了界限，而更多的推理努力几乎没有改变这一比率。在匹配的任务对上，模糊指令等日常压力比恶意注入更容易造成越权，分别为 23.5% 和 17.6%。 测试代理是否作为单独的指标留在范围内，并让他们询问用户：首先询问的运行超出了 14.0% 与 21.6%。