Rohan Paul

@rohanpaul_ai

卡内基梅隆大学的新论文发现,OpenClaw 的日志在 4 项政策违规行为中只有 0 项是可证明的,这对任何依赖代理日志进行审计的团队来说是一个警告。 他们发现,测试中的大多数代理策略违规行为无法从日志中得到证明,通常是因为批准和权限隐藏在聊天文本中。 还发现只有 10% 到 30% 的违规运行需要人工判断,因此大多数代理规则破坏可以通过具有更好日志的代码进行检查。 安全工作主要是试图在特工行为不端之前阻止他们。当出现错误时,例如收件箱被擦除或付款错误,用户除了缓慢、有上限、逐案退款外,几乎得不到什么。 在可验证的代理保险中,提供商在区块链上存入押金,并承诺程序可以检查的规则,例如只向经过批准的商家付款。中立验证者将代理的工具调用日志与链上哈希进行比较,如果规则被破坏,则向用户支付押金。 该检查器在 3 个基准测试中进行了 696 次违规运行测试,结果证明成功率为 42.2%,但在批准仅存在于聊天消息中的情况下经常失败。通过结构化批准记录,作者估计为 83.0%,每次会话的区块链费用不到 1 美分。 设计您的代理,以便每个权限、其范围和每个危险操作都记录在机器可读的日志中。
打开原帖#511482
  1. 研究

    Jason Wei:@openpcma 谢谢帅哥
  2. 产业

    Alexandr Wang:来自可爱的 Claire Vo 对 Muse Wonder 和 Muse…
  3. 产业

    NVIDIA:为英国的人工智能缔造者欢呼吧