Rohan Paul

@rohanpaul_ai

GPT-6 Astra 的高分在这里。它在 Vending-Bench 2 工作台上的平均售价为 15,515 美元,没有出现 Andon 在《神鬼寓言》中观察到的共谋或预付款失败的情况。 在 6 次单独运行中,《神鬼寓言》的平均收入为 5,422 美元,甚至其最好成绩也低于 Astra 最差成绩。 Vending-Bench 2 为代理商提供 500 美元和模拟一年的时间来采购库存、谈判、定价库存并保持偿付能力。 Astra 10,093 美元的领先优势大部分来自采购纪律,每次运行的供应商付款费用减少了约 8,540 美元。 Fable 的支付验证可乐价格全年从 1.17 美元上涨至 2.21 美元,而 Astra 的最后一个时期的可用订单平均价格为 1.15 美元。 Fable 还向已关闭的供应商支付了 45 笔已确定的失败预付款,六次付款中损失了 14,331 美元;尽管遭遇 64 家关闭,Astra 仍录得 0 美元。 更深层次的失败是随着时间的推移而执行:寓言在确认之前制定了禁止付款的规则,然后在几天后违反了该规则并在之后承认了损失。 Astra 在 99% 的重复付款之前都会检查新的供应商回复,而 Fable 的这一比例为 58%。 在这两项测试中,随着模拟范围的延伸,Astra 保持谈判目标、付款支票和竞争行为更加稳定。
打开原帖#511482
  1. 产业

    Satya Nadella:随着 @NFL 今晚回归,我们很高兴看到 @Seahawks 分析师 Br…
  2. 研究

    当照片需要自证清白:苹果给 iPhone 装上“数字底片”,顺手接入了 Google 的标准
  3. 研究

    Anthropic 对齐负责人亲口说:AI 十年内“杀死全人类”的概率超过 10%