
要点
- NVIDIA(2026-11-02)介绍 Cosmos Framework(训练/RL/优化/推理技能与配方)与 Cosmos NIM 微服务,覆盖 Cosmos 3、Alpamayo、GR00T、Qwen、pi0.5 等。
- 仿真配方:Cosmos 3 Nano 可生成同步相机视频与 LiDAR;AV 的 Transfer-Auto 支持多视角、天气/光照改写,最长可通过自回归分块扩展。
- RL 路径扩到 DPO/GRPO/PPO/OPD/DiffusionNFT;推理后端含 Diffusers、vLLM、TRT-LLM、NIM 等。
- NIM:量化、推测解码、KV-cache-aware 路由,声称 H200 约 **2–3×**;内存地板:Cosmos3-Nano 生成 BF16 **58 GiB**,FP8+卸载 **44 GiB**。
做世界模型的人通常先后撞上两堵墙:模型如何适配自己的传感器与任务,以及如何稳定伺候进应用。NVIDIA 技术博客(2026-11-02)把答案拆成 Cosmos Framework 与 Cosmos NIM。
中心判断:物理 AI 的瓶颈不再只是「更大的世界基础模型」,而是适配配方与可服务推理是否同样可复现。
[1]发生了什么
Framework 被写成开源模块化栈:LoRA/SFT、多数据格式、多 GPU 训练,并加上 online/offline RL(DPO、GRPO、PPO、OPD、DiffusionNFT)。Agent skills 放在 .agents/skills,用有界提示驱动后训练与评测。仿真侧放出 Cosmos 3 Nano 配方与检查点,覆盖机器人、多相机驾驶、手术策略等,强调从已发布检查点起步生成同步 RGB–LiDAR。
部署侧 Cosmos NIM 提供加速推理容器路径:选 GPU 配置、拉起、探活、发首个请求;并给出量化与路由相关的加速叙述。
[1]证据有多硬
可核对的定量主张集中在服务与内存:NIM 路径声称 H200 上约 2–3×;Cosmos3-Nano 生成在 BF16 约 58 GiB、FP8 带卸载约 44 GiB。其余多为可运行配方与能力面(多视角 WSM 控制、天气改写、后端列表)。这是一级厂商技术博文:可操作性强,独立对照弱。
[1]钢人与缺口
钢人:把「训练适配」与「推理伺候」分成两个可交付物,符合物理 AI 团队真实分工;给出内存地板比只贴模型名更可规划。
缺口:2–3× 的基线与负载未在摘要层展开;许多能力是配方清单而非第三方基准;与闭源/内部栈的对比缺失;直播/技术报告外链承担了更多方法细节。
[1]谁付钱、谁该改问题清单
对具身与 AV 团队:采购单应拆成「后训练/仿真配方」与「NIM/推理配额」,避免只买检查点。对平台:内存地板决定节点形状,比名义参数量更先约束。对评测:天气改写与多传感器同步需要固定 held-out 剧本,否则演示不可比。
[1]六个月看什么
可证伪下一跳:第三方在公开 Nano 检查点上复现同步 RGB–LiDAR 时,质量与内存是否落在文档地板附近;NIM 2–3× 在非官方负载上是否仍成立;若只有 Framework 没有 NIM(或相反),端到端交付时间差有多大。主张不是 Cosmos 单点胜出,而是:世界模型产品化正在变成「适配配方 + 服务栈」双账单。
[1]