Rohan Paul

谷歌和卡内基梅隆大学的新论文发现，当安全作为一个单独的目标发展时，自我改进的代理可以更好地保持安全收益。 代理工具、提示、工具和围绕模型的循环现在可以根据反馈重写自身。大多数此类系统都追求单一分数，例如测试通过率，而它们获得的安全收益在新任务中大多消失了。 Harmony Harness 发展了多个版本，每个版本都在通过测试和阻止漏洞利用方面取得了不同的平衡。它还将一般修复与特定于基准测试的修复分开，并选择每个任务要使用的部分。 对于 SecRepoBench 中未见的崩溃类型，66.7% 的修复既有效又阻止了漏洞利用，而起始安全措施的这一比例为 36.7%。它在这些任务上保留了 55% 的安全收益，而 DGM 基线则保留了 0%。 当您让代理自我改进时，将安全性作为其自己的分数进行跟踪，并在保留的任务上检查它。