Jim Fan
@DrJimFan
2016 年在 OpenAI 的旧时光:一个 agent 盯着屏幕像素、移动鼠标,在 United 上订机票。我们称之为 World of Bits,属于 OpenAI Universe。十年后,Astra 在同一宇宙里重生,连命名都「天文」地合适。
Universe 或许是当时最雄心勃勃的 AI 基础设施项目,但我们没能真正解决它。一个对「提交」按钮毫无先验的策略,只能靠试错重新发现整套互联网视觉语言。事后看,在一堆 Pascal Titan X GPU 上、对着手工绘制的逐任务「工匠式」奖励函数从零做 RL,完全注定失败。
要解决计算机操控 agent,正确路径原来是先「煮沸整片海洋」(在你能找到的所有通用任务上爬坡),再专精回屏幕像素与按键。简单说,就是「专精的通才」。
教训:领先一步是先锋;领先三步是先知;领先五步是烈士。
恭喜 GPT-6!那班 United 航班终于能可靠地订到了。2016 年的实习生我会心一笑。