Rohan Paul

现在，您可以用简单的英语输入您想要的内容，然后让药物设计模型追踪它。 通常，为了使模型生成更好的候选药物，您需要针对该确切目标进行训练的奖励模型。在这里，他们删除了该步骤，并让法学硕士对输出进行评分，只需用英语阅读你的目标即可。 任何无力为其目标构建评分模型的实验室现在都可以使用引导生成器。这是阻止小团队参与生成设计的大门，但它刚刚移动了。 RLHF 在任何地方都存在相同的冷启动问题：如果基本模型从未产生良好的输出，则没有什么可以排名。因此，法学硕士首先写下一个更简单的目标，根据该目标进行评分，并随着模型变得更好而不断提高标准。 基础分子模型在 38,500 个样本中产生了 0 个可用命中。经过几轮之后，它生产了一批 512 中的一个。 LLM的分数很多时候都是完全错误的，但这并不重要，因为DPO只需要“A比B更好”，而不是一个准确的数字。 LLM 分级模型击败了允许直接针对真实评分函数进行训练的版本（69.06 比 57.04），但从未看到任何分数。