Nathan Lambert

听很多人说，分数中心化在业界很流行（例如 Tinker 的 StableReinforce 使用它），所以它是 rlhf 书的最新补充。这是一个理解训练-推理不匹配的不错的推导。 视频版很快将解释它。https://t.co/b3SJaElgSo