Hamel Husain
@hamelhusain
最近有机会采访了 @benhylak，聊他如何看待我们 AI Evals 课程里的仿真（simulations）😁
仿真做得好时，对评测极其有用。Ben 分享了他在多家公司落地仿真评测的经验。聊到一些有趣话题，我最喜欢的是「仿真觉察」（simulation awareness）——模型知道自己处在仿真里。
以下是章节摘要：
为何输入/输出测试会漏掉智能体失败
回放生产轨迹，看改动会破坏什么
重建智能体周围的数据与工具
智能体如何察觉仿真并改变行为
选择能测到你所改动的场景
跨多次运行检查答案、成本与工具行为
回放已知失败以验证修复
让仿真误导人的常见错误
检查仿真是否复现生产行为
何时开始使用仿真
也可在 YouTube 观看：https://www.youtube.com/watch?v=eLkESCLvvAs
