Rohan Paul
@rohanpaul_ai
卡内基梅隆大学的新论文发现,OpenClaw 的日志在 4 项政策违规行为中只有 0 项是可证明的,这对任何依赖代理日志进行审计的团队来说是一个警告。
他们发现,测试中的大多数代理策略违规行为无法从日志中得到证明,通常是因为批准和权限隐藏在聊天文本中。
还发现只有 10% 到 30% 的违规运行需要人工判断,因此大多数代理规则破坏可以通过具有更好日志的代码进行检查。
安全工作主要是试图在特工行为不端之前阻止他们。当出现错误时,例如收件箱被擦除或付款错误,用户除了缓慢、有上限、逐案退款外,几乎得不到什么。
在可验证的代理保险中,提供商在区块链上存入押金,并承诺程序可以检查的规则,例如只向经过批准的商家付款。中立验证者将代理的工具调用日志与链上哈希进行比较,如果规则被破坏,则向用户支付押金。
该检查器在 3 个基准测试中进行了 696 次违规运行测试,结果证明成功率为 42.2%,但在批准仅存在于聊天消息中的情况下经常失败。通过结构化批准记录,作者估计为 83.0%,每次会话的区块链费用不到 1 美分。
设计您的代理,以便每个权限、其范围和每个危险操作都记录在机器可读的日志中。