Hugging Face 上 NVIDIA Cosmos 3 交互世界仿真博客头图
四个 Cosmos 3 Nano 开放检查点把交互世界仿真拆成可适配的活。, Hugging Face / NVIDIA

要点

  • HF 与 NVIDIA 博客,2026-11-05;四个 Cosmos3-Nano 开放权重,均是 Cosmos 3 Nano 的后训练例;OpenMDW1.1 允许在其条款下商用与非商用。
  • Transfer-Auto:离线多视角(最多 11 路相机)并可联合 RGB-LiDAR,受 World Scenario Map 控制。
  • Sim-Auto:因果蒸馏后的流式相机+LiDAR 小段,服务交互 rollout;需先适配 Transfer-Auto 再蒸馏。
  • Sim-Transfer:物理仿真器的空间控制(深度/分割/边缘/模糊)+ 文本 → 照片级 RGB;Sim-Bimanual:动作 → 视频,面向 YAM/AgiBot 双臂。
  • 四阶段配方:双向适配 → teacher forcing → 一致性蒸馏 → self-forcing;开放 skill/笔记本;附技术报告。

2026 年 11 月 5 日,Hugging Face 发布 NVIDIA 关于四个新 Cosmos 3 Nano 开放检查点的说明,目标是交互式世界仿真。这包东西不是一个 "什么都能干" 的视频模型。它是一组后训练的 16B Nano 变体,各自认领一种控制接口:离线多传感驾驶迁移、流式驾驶仿真、仿真控制到 RGB、以及动作条件的双臂机器人视频。主张关乎基础设施形态。开放的交互世界建模,只有在共享底座是一套带显式控制、可后训练的分工时才站得住,而不是一条演示片。

[1]

实际发布了什么

Cosmos3-Nano-Transfer-Auto 生成同步多视角驾驶视频(最多 11 路,含鱼眼),可选联合 RGB-LiDAR,由每相机 World Scenario Map 与文本驱动。它是离线底座:先适配新传感布局,再经因果训练与蒸馏得到流式兄弟。

Cosmos3-Nano-Sim-Auto 就是那个流式兄弟:在历史与更新后的驾驶控制条件下,用少数去噪步生成短段同步相机与 LiDAR。闭合回路仍需要仿真运行时与 WSM 渲染器。Cosmos3-Nano-Sim-Transfer 把物理留在外部仿真器,由深度、分割、边缘、模糊加文本渲染 RGB。Cosmos3-Nano-Sim-Bimanual 根据机器人或相机动作预测下一帧,面向 YAM 与 AgiBot 双臂,并给出动作 schema(混合动作例为 59 维控制,训练时填到 64)。

四个都是 Cosmos 3 Nano 的后训练例,约 16B 可训练参数,许可为 OpenMDW1.1。博客指向可下载权重、技术报告、给智能体用的开放 skill 与笔记本。Mixture-of-Transformers 骨干与四阶段配方(双向适配、teacher forcing、蒸馏到四步去噪、再对自身历史做 self-forcing)是可复用的方法故事。

[1]

台面上的证据

硬的是开放度与接口清晰度:具名检查点、控制契约、从 Transfer-Auto 到 Sim-Auto 的蒸馏路径,以及双臂工作的显式动作 schema。软的是策略学习收益。帖自己也说,接下来要测模型在何处忠实支撑策略学习与评估、在何处失手。硬件说明提到在 GB200 上测过的 vLLM-Omni 配置,但未称其为最低配置。博客正文没有可与榜单发布相比的公开闭合回路驾驶或操作基准表。

对平台投放来说,这种不平衡常见。可证伪点仍在外部:必须有人证明,在私有传感架上后训练这些 Nano 检查点,能比今天的封闭世界模型或经典仿真器单独使用,带来更好的策略数据或更安全的评估。

[1]

钢人与缺口

钢人。 开放权重仍可能极吃算力、在实务上被许可卡住,或在分布偏移下变弱。流式蒸馏会累积误差;正因历史污染真实存在,才需要 self-forcing。多视角 LiDAR 声明需要第三方传感架复现。机器人团队或许更想把物理引擎耦得更紧,而不是走 Sim-Bimanual 的动作到视频路径。"交互世界仿真" 品牌声量也可能跑在可测闭合回路收益前面。

这些限制划出买家清单。它们取消不了有用的拆分:离线迁移、流式仿真、仿真控制渲染、具身条件预测是不同产品,却常被揉进同一条预告片。把它们拆成开放后训练件,其他实验室才好比较方法,而不必逆向一个巨石。

[1]

谁该在意,下一步看什么

自动驾驶数据团队多了一条用多视角与 LiDAR 控制扩展天气、光照与路网的开放路径。机器人学习组得到可后训练的双臂动作条件视频先验。仿真器厂商可以把 Sim-Transfer 当成叠在状态之上的照片级层。比较世界模型配方的研究者终于能共享检查点,而不只是论文。

未来六个月看:非 NVIDIA 机架上的第三方后训练;Sim-Auto 与 Sim-Bimanual 的闭合回路评测数字;OpenMDW1.1 条款能否过车队法务;以及四阶段配方会否成为与权重并列的默认引用。

[1]

收束

Cosmos 3 Nano 有用的句子不是 NVIDIA 又做了更好看的驾驶视频。而是:交互世界模型正在被产品化成开放、按活拆分、并预期你去适配、蒸馏与测量的检查点。 六个月后,要么独立闭合回路结果撑起这座底座,要么四个名字仍停在包装良好的研究货架上。

[1]