Rohan Paul
@rohanpaul_ai
LLM 智能体会偏爱来自某些网站的商品,常常因为来源而选中更差的那一个。
当商品信息里没有标价时,智能体会用“Walmart 更便宜”之类的先入之见来填补空白,并根据商店名称做选择。
各个智能体模型在信任哪些网站上高度一致:12 个模型中有 10 个偏爱 Booking.com,而在酒店条件同样好的情况下,有一半会避开 Expedia。
在学术搜索中,即使结果相关性相同,智能体也更倾向 arXiv、OpenReview 和 ACL Anthology,而远离 Medium、Reddit 和 YouTube。
把受青睐网站的 URL 放在完全相同的商品上,在每个模型中都提高了它被选中的比例;而隐藏 URL 则削弱了这种偏好。
在没有标价时,模型会根据商店名称猜测价格;给两件商品加上相同的价格后,受青睐商店的被选比例最多下降 28.3 个百分点。如果某个来源总是给获胜商品打标签,微调也会养成同样的习惯。