
要点
- NVIDIA 技术博文在 EPFL COSMO 的 Point Edge Transformer(PET)MLIP 上评测 BF16x9(Blackwell)与 TF32x3(Ampere):大 GEMM 加速约 1.7–2.5×,完整 MD 步最高约 1.5–1.7×。
- TF32x3 在 NVE 轨迹上能量涨落接近 FP32,而单遍 TF32 出现更明显漂移;CO/Pt(111) 势能曲线上 TF32x3 跟随平滑 FP32,单遍 TF32 点间粗糙。
- 539 原子 Cantor 合金弛豫:FP32 与 TF32x3 约 218–222 步收敛到 1e-3 eV/Å;单遍 TF32 在 1000 步内仍达不到力阈值。
机器学习原子间势(MLIP)用神经网络预测能量与力,常在远大于量子化学的体系与时间尺度上跑分子动力学。力是能量的导数,误差会在多步积分里放大,因此许多 MLIP 推理仍钉在 FP32,即使现代 GPU 的 Tensor Core 在更低精度上吞吐高得多。
NVIDIA 技术博客(2026年10月29日)与 Lab COSMO 合作,把「FP32 操作数拆成低精度分量、在 Tensor Core 上算交叉积再 FP32 累加」的路径接到 PET 上。主张:对轨迹敏感的 MLIP,应用 Tensor Core FP32 仿真(BF16x9 / TF32x3),而不是单遍 TF32/BF16;后者会在能量守恒与结构弛豫上付出物理代价。
[1]Blackwell 上 cuBLAS 提供 BF16x9:每个 FP32 拆成三个 BF16,九个乘积按缩放再组合,可用环境变量对兼容的 PyTorch GEMM 启用。Ampere 上作者用 CUTLASS OpMultiplyAddFastF32 的自定义 TF32Linear 替换线性层,评估三个交叉积、省略残差×残差;前向与力回传都走 TF32x3,权重梯度在固定权重推理中不关键。
基准含 26M 与 255M PET-MAD 检查点、192 与 17,280 原子水系。大体系 GEMM 受益更明显,因为非 GEMM 开销占比下降。
[1]速度:BF16x9 大 GEMM 在 17,280 原子上约 2.2–2.5×,MD 步 performant 策略约 1.7×;TF32x3 大线性层约 1.7–1.9×,大体系 MD 步约 1.5×。精度叙事:BF16x9 误差低于模型自身非确定性;TF32x3 力误差约三倍于「重编译后两次 FP32 之差」量级,远好于单遍 TF32 的轨迹问题。
物理一致性:NVE 30 ps 水系上 FP32 与 TF32x3 能量涨落有界且相近,单遍 TF32 漂移更大;FIRE2 弛豫中 TF32x3 与 FP32 同步收敛,单遍 TF32 力卡在约 1.2×10⁻³ eV/Å。这是「能跑完优化」而不只是「单点能量接近」。
[1]钢人:端到端收益依赖体系尺寸与 GEMM 占比;小体系启动与邻居开销会吃掉加速。TF32x3 需核形状调优;BF16x9 硬件门槛是 Blackwell。单模型(PET)不能代表所有 MLIP 架构。博文也承认未测量与图优化、融合核、CUDA Graphs 的叠加收益。
另一边界:力误差「低于非确定性」是相对陈述,长期相变或稀土等硬案例仍需领域验证。
[1]对计算化学与材料团队,这篇把精度讨论从「能不能用 FP16」推进到「哪一种 Tensor Core 路径保住势能光滑与守恒」。对 CUDA/库维护者,BF16x9 的环境变量路径降低了改模型的成本;对仍停在 Ampere 的集群,TF32x3 是可插拔线性层故事。对审稿与工业仿真,弛豫收敛与 NVE 漂移应进入性能测试清单,而不是只报 ns/day。
[1]六个月应看:其他 MLIP(MACE、NequIP、等变模型)能否复现「仿真 FP32 收敛、单遍低精度不收敛」;BF16x9 与图捕获叠加后的真实加速;以及力阈值更严时 TF32x3 是否仍跟住 FP32。若轨迹级指标持续支持仿真路径,主张成立;若仅 GEMM 微基准好看,需改写。
[1]