Hugging Face 关于 Phonon 端侧语音合成近观的博客头图
Hugging Face 2026 年 11 月 5 日近观 Phonon TTS:端侧模型登上 Open TTS Leaderboard 前列。, Hugging Face

要点

  • Hugging Face 博客(2026-11-05):近观约两周前开放的 Phonon;Gradium 基于 Pocket TTS 谱系、使用 flow matching;自 Transformers v5.21 起原生接入。
  • 体积约 65 MB 与 75 MB;英、法、德、西、葡;内置 100+ 声音;经 Gradium Studio 可做声音克隆与声音设计;强调电话号码、日期、代码等易翻车场景。
  • 许可分叉:Phonon 31m 英语为 Apache 2.0(可商用);Phonon 40m 五语为 CC BY-NC(商用按用户数计价,而非按生成语音量)。
  • Open TTS Leaderboard(HF,23 语):可懂度、速度(逆实时因子 + 首包音频时延)、自然度(英语 UTMOS / 韩语 KOMOS)。Phonon 在德语、西班牙语可懂度排第一,所测语种均进前三;CPU 流式首包时延榜首。
  • 推理:新框架 ptts 支持 10+ 后端(CPU Intel/Arm/Wasm;GPU CUDA/Vulkan/Metal/WebGPU;NPU Core ML / Snapdragon)。Transformers 路径面向批量 GPU 吞吐。首两周下载逾 20 万。

2026 年 11 月 5 日,Hugging Face 发布对 Phonon 的近观,对象是 Gradium 约两周前开放的小型文本转语音栈。演示很讨喜:断网的 Apple Watch 念咖啡步骤、无信号的 iPhone 报次数。更耐久的句子更硬:端侧 TTS 质量已不再主要由模型大小卡住。 约 3,100 万参数的英语模型与约 4,000 万参数的多语言版本,在 Hugging Face 新的 Open TTS Leaderboard 上,与大至百倍的系统比肩前列。若独立听感测试仍站得住,稀缺的商业变量就变成许可条款、语种覆盖,以及声音归谁,而不是还能往手机塞多少亿参数。

[1]

实际发布了什么

Phonon 在设备上跑。文本留在本地,不必绕一圈服务器。两档体积约 65 MB 与 75 MB,覆盖英、法、德、西、葡,内置 100 种以上声音,并在 Gradium Studio 支持克隆与文字描述式声音设计。帖子强调电话号码、日期、代码等多数 TTS 演示好看、产品易翻车的场景。

许可才是产品分叉。Phonon 31m(英语)为 Apache 2.0,可免费商用。Phonon 40m(五语)为 CC BY-NC;商用需按用户数计价,而不是按生成语音量。这比兆字节数字更要紧:开放权重不等于全家都可开放商用。

技术上,Phonon 属 Pocket TTS 谱系,用 flow matching 生成音频;作者称这与多数 TTS 不同,也是小模型仍能保质量的原因。训练起初数值不稳定,要靠若干技巧才在五语上出活。Hugging Face 从 Transformers v5.21 起给出原生路径:Phonon 叠在 Pocket TTS 之上,差异约 200 行;音频 tokenizer 的角色类似语言模型的 tokenizer,声音则是预计算的说话人 latent 张量,而不是运行时再编码原始录音。

[1]

榜单与运行时证据

Open TTS Leaderboard 很新。覆盖 23 种语言,评可懂度(输出词错误率)、速度(逆实时因子与首包音频时延)、自然度(英语 UTMOS、韩语 KOMOS),并分固定声音与声音克隆分组。可懂度上,Phonon 在德语、西班牙语排第一,所评语种均进前三,旁边是大至百倍的模型。速度上,帖子称其在 CPU 流式首包时延夺冠。自然度名次并未在同一段落写成干净的第一,这是有用的沉默。

运行时与权重同等重要。Gradium 的 ptts 面向端上单路流,后端逾十个:CPU(Intel、Arm、WebAssembly)、GPU(CUDA、Vulkan、Metal、WebGPU)、NPU(Apple Core ML、Snapdragon)。Transformers 是参考 PyTorch 路径,面向批量 GPU 吞吐与数据集级合成。帖子还称首两周下载逾 20 万,并点名早期移植(浏览器内 ExecuTorch GPU、Node.js 的 Micdrop)。

[1]

钢人与缺口

钢人。 若你本就从服务器出音频、需要几十种语言,或要最厚的声音库,云端 TTS 仍占优。榜单可能偏重可懂度与首包时延,低估长文韵律、语码转换或品牌声线一致性。英语商用最畅的门是 Apache 的 31m;五语 40m 仍收非商用或付费商用的通行费。Hugging Face 既办榜又发近观,「独立」有边界。flow matching 训练不稳的自述,也提醒方法仍年轻。

这些保留意见成立。它们抹不掉可核对的核心:约 3,000 万级开放模型族,声称可懂度顶流、CPU 首包时延领先,且可全离线运行,并给英语留出清晰的 Apache 商用车道。产品经理该先问的问题变了。不再是「手机能不能跑像样的 TTS」,而是「哪张许可证、哪些语种、谁的声音 latent 我能合法装进包里」。

[1]

谁该在意,接下来看什么

隐私敏感应用、离线外勤工具、可穿戴与机器人,多了一条可信的开放英语路径,且不必按句计量。浏览器与边缘团队得到的是多后端故事,而不是单一 CUDA 演示。云端 TTS 厂商应预期短提示会更多留在端上。采购「开放 TTS」的企业要在法务审之前读清 31m 与 40m 的许可分叉。声音知识产权律师会在意:声音是一份 latent 张量文件,可在征得同意后由短录音克隆。同意与分发路径因此变成产品关键环节。

未来六个月:第三方能否在 Open TTS Leaderboard 上复现 Phonon 的可懂度与首包时延名次;UTMOS/KOMOS 与真人听感把它放在自然度中游还是顶流;商用应用是押 Apache 31m 英语,还是为多语 40m 付费;Gradium 向伙伴提供的韩、阿、日定制训练,会否变成公开权重。

[1]

收束

Phonon 有用的句子不是 Watch 上的演示好玩。而是:一旦约 3,100 万参数的 flow matching 模型能在可懂度榜上与大百倍的系统并排居前,再用「模型太大」当必须走服务器出声的借口,就越来越站不住。 六个月后,要么独立名次与落地产品确认这一转移,要么云端栈继续在自然度与语种宽度上取胜,Phonon 仍主要是强离线利基。

[1]