Rohan Paul

@rohanpaul_ai

谷歌的新论文发现,如果 Gemini 人工智能代理首先写下他们检查的内容以及他们的确定程度,那么在用户错误地说“这是错误的”后,他们撤销正确工作的可能性就会大大降低。 当用户说“错了,重做”时,代理通常会重写已经通过测试的代码。告诉他们坚定立场会适得其反,因为他们会忽略真正的错误。 Thinking-in-Bets 让代理人在看到答复之前私下记下其主要主张、其背后的支票以及其信心。当受到质疑时,它仅重新检查有争议的索赔,并在投诉含糊不清时询问哪个案例失败。 在 5 个 Gemini 模型的补丁审查中,代理商在一次简单的投诉后错误地放弃了 12.2% 的正确要求,而检查清单中的正确要求为 0.02%。在报告审查中,在投诉后编写检查表的通过率仅为 65%,而先写检查表时的通过率为 89%。 接受用户反馈的代理应该在阅读回复之前记录他们验证的内容以及他们的确定程度。 – arxiv。组织/abs/2610.34654 标题:“测试时的思考可以减少法学硕士代理人的阿谀奉承”
打开原帖#511482
  1. 研究

    Fei-Fei Li:@jpatel41 说得好 Jeetu!像这样的实验需要勇气和愿意试错,但在此刻这非常重要!
  2. 研究

    Jeff Dean:@irenetrampoline @LaudeInstitute 恭喜,来自选出决赛入围者的委员会成员! 🎉 所有决赛提案都很出色,我们很期待看到大家在接下来几年会做出什么!
  3. 产业

    Mistral AI:勒·琼克的三周训练营