Rohan Paul

德克萨斯大学的论文发现，将小记忆决策交给快速评分模型可以让 AI 记忆系统建立长对话记忆的速度提高 6.6 倍 许多记忆系统要求法学硕士做出一些小选择，例如链接什么或何时停止搜索。 为每个选择生成文本的速度很慢，并且这些调用会在内存构建和搜索过程中堆积起来。 Jev-Mem 将这些选择提供给快速记分器 Jev，它批量返回概率而不是文本。 LLM 仅在最后调用，读取所选记忆并给出答案。 在 LoCoMo 长对话基准测试中，它的答案得分为 0.777，而最佳基准得分为 0.700。它建立内存的时间为 158 秒，而最快的竞争对手为 1,044 秒；响应时间为 0.93 秒，而最快的竞争对手为 1.47 秒。 如果您的内存管道调用 LLM 进行路由、评分或停止，请尝试在那里使用快速分类器并保存 LLM 以获取答案。