Rohan Paul

@rohanpaul_ai

新的 Google DeepMind 论文发现,人工智能模型无法自行做出真正的随机选择,但当计算机程序首先给它们一个随机数时,较大的模型会正确选择。 代理通常需要以设定的几率随机选择操作,例如以不可预测的顺序检查服务器。法学硕士表示,他们会统一选择,然后继续选择最喜欢的选项,例如 7、42 或答案 C。 他们要求 Gemini、Qwen3 和 OLMo 模型分别从简单分布中采样 1024 次。他们还尝试了其他温度和采样设置,并为模型提供了一个随机数进行转换。 每一个报告的匹配目标赔率的统计测试都失败了,改变温度或 top-p 也不能解决这个问题。在安全游戏中,真正的随机检查让攻击者在 75% 的情况下获胜,而 Gemini 的选择让他们获胜 96.6% 到 99.9%。 如果您的代理需要随机性,请在代码中生成并传递它,而不是要求模型是随机的。
打开原帖#511482
  1. 产业

    Greg Brockman:P仍然可能不等于np
  2. 产业

    Replit ⠕:这是我们给自动驾驶公司带来的基础:代理可以做更多的事情,随着自主性的增长,…
  3. 产业

    Replit ⠕:你的编码装置安全吗? 在Replit,我们花了数年时间将安全性构建到代理工…