Sierra 这篇博客的可见日期是 October 22, 2026。它发布的基准叫 τ-Entity,测的是语音智能体能不能把一个字段原样记对。页底相关文章里的 τ-i18n 标着 October 21, 2026,测的是另一件事。这一页的数字不沿用那一篇。基准有 200 项任务、十类实体,包括姓名、电话号码、地址和电子邮件。每次通话只看一个字段。成功要求存下来的值与期望值完全一致。来电者会配合,被要求拼读时会准确拼出。多数通话不到两分钟。

[1]
躺着的炭黑扩音筒,口沿一圈灰蓝,柄端一点氧化红
躺着的炭黑扩音筒,喇叭口朝前,口沿一圈灰蓝,柄端一点氧化红。, AI 生成插画,不是新闻照片

榜把六种语言合在一起。GPT Live 1 领先:普通通话里记对的比例是 60.3%,同一次任务在普通、噪声和语音干扰三种条件下都成功,只有 34.0%。Gemini 3.8 Live 在普通条件下是 43.8%,三种条件一起是 19.5%。Grok Voice Think Fast 2.0 是 44.2% 和 24.0%。只看英语时,GPT Live 1 普通通话 74.0%,三种条件 47.5%。西班牙语、葡萄牙语和印地语接近英语;Gemini 和 Grok 在这几种上还高于英语。韩语的三种条件成功率落到 3.5% 到 8.5%,普通话落到 12.5% 到 24.5%。这是各智能体之间的区间,不是某一个模型的单点。

[1]

同一页还转述了论文里的对照,不是榜上的另一列。智能体自己决定怎么核对时,三种条件下都成功的只有 14% 到 41%。论文规定的顺序是:先问,再让来电者拼读或复述,确认并改正,然后提交。按这个顺序,三种条件下的成功升到 37% 到 54%,增益 14 到 31 个百分点,通话长出 21 到 28 秒。每种配置把同样的 200 项任务,在三种条件下、两种提示各跑一遍,一共 4,800 通。这篇只记这个顺序是论文里测过的条件,以及它带来的成功率和多出来的时间,不把它写成一套配置步骤。

[1]

就算发现自己可能记错,改正也没有保证。论文的行为分析里,起初记错、后来又做了核对的那些记录,最终改对的只有 24% 到 37%。有时重复同一个错,有时换成另一个错值。多个字段叠在一起时,误差会累积。论文的多字段研究里,三个字段的通话只有 53% 成功,尽管单个字段仍有 75% 准确。在同一批多字段任务的另一次对照里,逐字段校验并允许重试,成功从 64% 升到 82%。页面写明,这次干预把校验和重试合在一起,拆不开各自贡献了多少。τ-Entity 榜上的 200 项任务,每次只看一个字段。53% 不是那张榜的通过率。

[1]