
要点
- 单一检查点覆盖 40 语转录、31 语英互译、13 语说话人日志;最长约 1 小时、最多 8 说话人。
- Hugging Face Open ASR 英语开源权重第一(平均 WER 5.33%);AA-WER 2.8%(约 4B 激活 / 30B MoE);David AI 日记化 DER 最低 18.26%。
- Granary v2:463,062 小时 / 48 语;医学适配案例 held-out WER 22.44%→12.17%(相对 −45.8%),约 14 GPU-小时(GB300)。
NVIDIA 于 2026年10月28日在 Hugging Face 博客发布 Nemotron 3.5 Transcribe:开放权重、可用自然语言提示的语音模型,把转录、说话人归属、翻译与音频问答收进同一检查点,并同时公开 Granary v2 多语数据与可复用策展管线。
排行榜第一很显眼,但更耐久的主张是:领域缺口不能靠“再刷一个 WER”关闭;要把格式目标、策展元数据与微调配方一并开源,提示级控制才能延伸到训练级控制。
[1]能力矩阵:转录 40 种语言;其中 31 种可与英语互译;13 种支持说话人归属;录音最长约一小时、最多标注八位说话人;支持词级时间戳。同一检查点可按指令切换“带说话人标签的会议稿”“译成英语”“会上做了哪些决定”。
架构上,语音编码器搭配混合 Mamba–Transformer 的 MoE 语言模型,约 30B 参数中每次约 4B 激活。官方强调面向录音而非实时流式;量化版与本地 NeMo-Speech.cpp 部署仍在路上,现有检查点可用 vLLM 等服务。
[1]英语 Open ASR 开源权重第一,平均 WER 5.33%;多语与长音频对比中亦称开源最低(模型卡对比:多语 4.62%、长音频 10.98%)。Artificial Analysis:开源权重并列第一 AA-WER 2.8%,AA-AgentTalk 1.8% WER。David AI 21 语日记化榜 DER 18.26%(14 系统最低);VoiceArena 14 系统对比 cpWER 领先(32.4%),删除率 8.32%(中位约 31%)。
Granary v2 公开清单覆盖 463,062 小时、48 语、16 个源语料,并为每条录音生成三种转写形态(保留口语、ITN 保留不流畅、ITN 清洁),另含字幕、语码还原、语音问答对与带自动质量分的翻译。医学案例:Eka Care 印医语音基准上,最佳提示 held-out WER 22.44% → 微调后 12.17%(相对 −45.8%);全流程约 14 GPU-小时(单卡 GB300)。
[1]钢人反驳:领导者榜数字来自供应商友好博文,部分对比排除 API 模型或依赖模型卡自制表;Granary 数字描述的是数据集发布而非 Transcribe 完整训练配比;医学增益依赖合成语音与特定基准,换领域未必同幅。
仍待核验:完整训练混合权重、与专用日记化模型在生产重叠语音上的误差分解、量化后的 WER 保持,以及第三方在非印医领域复现“提示→微调”曲线。事实置信度高(HF/AA/David 数字可点开核对);“开源管线必然关闭领域缺口”置信度中等。
[1]对企业 ASR 买家,单一可提示检查点降低多模型编排成本,但领域词表仍要预算真实标注与 checkpoint 选择集(文中建议至少约 100 条真实带标片段)。对开源生态,Granary 式“转写形态 + 质量旗标 + 任务标签”比只丢原始音频更接近可审计训练数据。对闭源语音 API,开放权重在激活参数—精度帕累托上的位置会持续施压定价与可私有化部署叙事。
[1]未来六个月应看:量化与本地运行是否保住 Open ASR / AA 位次;社区是否用 Granary 管线在法律、客服、方言上复现类似相对 WER 降幅;以及“提示即可用”是否在真实重叠会议里减少对级联日记化系统的依赖。
[1]