NVIDIA AICR 在 Vera Rubin NVL72 上的校验反馈环示意图:部署、一致性与性能门禁
来源图:AICR 在 Vera Rubin NVL72 上的校验反馈环(NVIDIA Technical Blog), NVIDIA Technical Blog / NVIDIA AI Cluster Runtime

要点

  • NVIDIA(2026-11-02)介绍 AI Cluster Runtime(AICR):把调优配置收成可复用配方,生成部署包并校验运行中集群,面向 Vera Rubin NVL72 Day-1。
  • 相对 GB200:新驱动分支(验证于 host-managed R615.23 open KMD)、ConnectX-9/BlueField-4 + DOCA 3.3.0 测试床、改变的 NIC/GPU/DMA 拓扑;IMEX 仍用于多节点 NVLink。
  • 端到端:GPU Operator v26.7.0 + DRA driver v0.5.0;训练配方跨节点 NCCL all-reduce 门禁达 **744.71 GB/s** bus bandwidth(16 GiB,NVLink fabric)。
  • 早期硅片校验曾因 go-nvlib 未映射 Rubin 架构值使 DRA kubelet 插件崩溃环;修复进入官方 DRA v0.5.0。配方状态为 Preview,非 Supported 生产资格。

新 GPU 机架要进 Kubernetes,失败模式很少是「不知道有 GPU」,而是驱动、内核页大小、容器运行时、DRA/IMEX、网络与调度器之间的组合错误。NVIDIA 技术博客(2026-11-02)把 Vera Rubin NVL72 的答案写成 AI Cluster Runtime(AICR):配方 → 部署包 → 校验。

中心判断:Day-1 AI 就绪靠的是可复现的配方与带性能门禁的校验,而不是每个集群重新发现同一批尖刺。

[1]

发生了什么

AICR 属于 DSX AI Factory 叙事:用 aicr recipe 按 service/accelerator/os/intent 解析组件,再 aicr bundle 生成有序 Helm 包。Vera Rubin 配方族(RKE2、vr200、Ubuntu,训练/推理/Dynamo 变体)在 Preview 状态编码了 bring-up 决策:host-managed 驱动(driver.enabled: false)、DRA ComputeDomains、Kubernetes ≥1.34.1、Ubuntu 26.04 + 64k 页内核,以及上调 NFD topology updater 内存以免多 TB 节点 OOM。

相对 GB200 NVL72,用户可见变化包括新驱动分支、ConnectX-9/BlueField-4、改变的亲和拓扑,以及 Rubin 新 MIG 档(本配方用整 GPU、未覆盖 MIG)。

[1]

证据有多硬

验证钉在真实参考集群:官方 GPU Operator v26.7.0 与 DRA driver v0.5.0,host R615 驱动。训练与推理变体通过部署与一致性;训练侧跨节点 NCCL all-reduce 经 IMEX ComputeDomain,bus bandwidth 744.71 GB/s(16 GiB)。作者记录早期硅片曾因硬件/fabric 问题使一盘托架掉出 NVLink,复位后恢复——把「硬件现实」写进叙事。

软件侧硬证据:校验曾撞上 go-nvlib 未映射 Rubin 架构值,DRA kubelet 插件崩溃环;修复进入 DRA v0.5.0。第二天第二套集群复现同一结果,被用来支撑「配方可重复」主张。

[1]

钢人与缺口

钢人:把组合爆炸收成版本化配方,是平台团队唯一可审计的缩放方式;把性能门禁(NCCL)与一致性门禁并列,避免「Pods Running」假绿色。

缺口:配方明确 Preview,非 Supported 生命周期;R615.23 是当前测试版而非官方最低承诺;DraNet/ConnectX-9 的 RDMA 数据路径性能不在本次校验内;MIG 未覆盖;早期访问硬件故事不可由读者复现。数字来自 NVIDIA 自测。

[1]

谁付钱、谁该改问题清单

对平台与超算采购:Rubin 升级清单应包含配方版本、DRA/IMEX 模式、内核页大小与 NFD 内存限,而不仅是 GPU 计数。对运维:把「未映射 PCI/架构值」类失败当成发布阻塞,而不是节点脏数据。对生态:GB200 运行手册不能无损粘贴到 Rubin。

[1]

六个月看什么

可证伪下一跳:配方升到 Supported 后,第三方集群是否仍能在数小时内复现部署+一致性+NCCL 门禁;ConnectX-9 RDMA 与 MIG 路径补齐后结论是否改写;若缺少 AICR、只靠散装 Operator,Day-1 失败率是否显著上升。主张不是「Rubin 已经生产无痛」,而是:没有配方化校验,Day-1 只会把同样的尖刺再付一遍。

[1]