Rohan Paul

谷歌 DeepMind 取得了一项重大成就：展示了一个能从数学上证明软件是安全的人工智能系统，而无需信任这个人工智能。 > 他们用人工智能代理从数学上证明了 Signal 实际运行的代码会保守消息秘密。 谷歌的人工智能代理写了 650 万行数学内容，证明 Signal 的编译代码能让聊天保持私密。 检查是在处理器实际执行的指令层面进行的。该实验室表示，此前还没有人对任何广泛使用的协议做到这一点。 > 普通测试会尝试许多输入，并希望能撞上那个坏的输入。而证明则表明安全规则在每一种情况下都成立，Lean 证明检查器会拒绝人工智能写出的任何错误步骤。 > 真正的漏洞常常在设计变成代码时潜入，所以检查处理器级代码可以堵住这个缺口。Rust 编译器也未被信任，因此编译器的错误同样会被抓住。 > 这项工作花了 4 周，而过去专家团队往往需要数年。由 40 到 80 个 Gemini Carbon 代理组成的团队写了大约 650 万行 Lean，而人类负责设定安全目标，并审查代理标记出的那 1%。 > 为了检验该系统不能随便批准任何代码，研究人员把 2 个旧的、已经修复过的 Signal 漏洞重新放进一份副本里。两次它都产生了经机器检查的证明，表明代码是不安全的。 > 更大的转变在于成本：现在人工智能可以在数周内生成经机器检查的证明，而不再是长达数年的项目，并可以成为设备固件、电网软件和其他关键代码的例行检查。