Rohan Paul

本文发现，廉价的验证者可以在检查 RAG 主张方面与前沿 LLM 的准确性相媲美，同时让更多不受支持的主张溜走。 RAG 管道不断询问证据是否支持某个主张，简单的是或否。大多数团队都会以生成价格从文本生成法学硕士那里得到答案。 他们对 Jev 进行了测试，该方法仅返回一个标签和一个概率，与 GPT-6 Astra 的 495 个人类标签声明进行比较。他们还建立了一个级联，Jev 在其中回答自信的主张，并将其余的传递给 Astra。 Jev 的成本比 Astra 低 187 倍，准确率仅相差 0.6 个百分点，但它批准了 23.2% 的无支持索赔，而 Astra 则为 14.1%。级联还削减了阿斯特拉的账单，但随机向阿斯特拉发送相同份额的索赔节省了大约同样多的费用。 在为 RAG 产品选择索赔检查程序之前，请衡量其批准不受支持的索赔的频率，因为标题的准确性隐藏了这一点。