Rohan Paul
@rohanpaul_ai
开放的多语言 ASR 模型刚刚发布了 5 种语言的平均 WER 3.54
Hojo-ASR-Multi-V1 将声学编码器与 Qwen3-4B 解码器相结合,在最终解码阶段为语音识别提供异常强大的语言模型。
- 使用 Qwen3-4B LLM 解码器构建
- 专为多语言会话语音识别而设计
- 根据 Apache 2.0 许可证在 Hugging Face 上公开可用
- 可通过 hojo-asr Python 包安装
- 支持本地推理
- 接受 WAV 文件路径、音频字节流和 SCP 输入
3.54 的 WER 数字背后还有一个更大的技术故事。
传统的 ASR 系统严重依赖专门为语音设计的声学和语言建模组件,而 Hojo 在音频编码和调整后将解码阶段交给 Qwen3-4B LLM。因此,识别可以在决定实际所说的内容时获得更丰富的模型,了解单词如何自然地组合在一起。
Hojo 更有趣的是,它跨多种语言达到了这一水平,而不是仅围绕一种语言构建。它通过一个开放可用的模型来实现这一点,开发人员可以实际运行和检查自己。
对我来说,架构可能是最有趣的部分。
Hojo 使用编码器、适配器和 LLM 设置,并以 Qwen3-4B 作为解码器,因此最终的文字记录是使用来自语音的声学信息和 LLM 内的语言知识生成的。
这为解码器提供了更多上下文来解析仅从音频中听起来不明确的单词。