Rohan Paul

清华大学的新论文发现，当人们要求具有长期记忆的人工智能代理忘记个人详细信息时，助手几乎永远不会干净地删除它，要么保留它，要么删除太多。 具有长期记忆的特工会存储个人详细信息，用户越来越多地要求他们删除家庭住址等信息。现有的内存基准测试仅测试存储和调用事实。 他们构建了 BEMULA，50 个长合成聊天，其中包含 135 个忘记请求，每个聊天都与一个没有请求的副本配对。探测器检查事实是否已经消失，其他记忆是否仍然存在，并且攻击仍然可以提取它。 在 6 个内存系统和 3 个骨干模型中，没有经过测试的设置端到端地通过了超过 1.5% 的忘记请求。在发出忘记请求后，系统最多阻止了 35.7% 的简单提取提示，例如角色扮演或是或否猜测。 如果您的代理记住了用户，请构建并测试真实的删除路径，因为确认消息并不意味着数据已消失。