Shawn Wang
@swyx
我们今天正在和 @_micah_h 以及 @grmcameron 录制 AAv5 播客，这让我想起你基本上需要 @ArtificialAnlys 对每一个评估的 AA-* 重建。
因为你 -无法- 信任实验室不会故意或意外地做极限优化，你需要几个值得信赖的第三方，基本上重新以精神而非字面意义进行整个评估，以便快速检查模型的声明在轻微扰动下是否成立（例如从“在多项选择题中随机化顺序”开始，到提出表面上看起来不同的全新问题）
但是实际上测试的是相同的基本逻辑和推理步骤）。没有足够多人像这样👇阅读基准跟踪，而抓住这种基准最大化的系统方法基本上是为所有事情都准备替代基准
