Rohan Paul

Meta 刚刚通过其 Muse AI 代理向每位美国用户开放了实时视频通话。 呼叫者会看到一个动画化身，他们可以将其重新设计为人、动物或其他角色，并且它会在聆听时做出反应。 Muse Realtime Voice 发出携带文字和内容的语音令牌，Muse Realtime Avatar 将同一流转换为口型同步视频。 为了实时运行该模型，Meta 训练了一个学生模型，使其能够在每个视频块的 2 次传递中重现教师在 120 次中构建的内容。 该系统以每秒 25 帧的速度传输 448x768 纵向视频，并在用户停止说话后约 870 毫秒开始回复。 通过添加 4 位量化、缓存和动态批处理，单个 Nvidia GB200 可以同时运行 12 个视频流。 在公司进行的 2 至 3 分钟通话测试中，评估者更喜欢该头像，而不是 Runway Characters（78% 比 22%）和 HeyGen LiveAvatar（88% 比 12%）。 按每 GB200 12 个流计算，100 万个并发呼叫者仅用于视频就需要大约 83K 个流，因此服务成本可能会限制虚拟形象的覆盖范围。