120B 的开放模型，每个 token 算 12B
英伟达博客写，今天放出 Nemotron 3.5 Super VL，一个开放的 1200 亿参数模型，并称它为专用、一直开着的智能体带来最快的任务完成和最高准确率。博客时间是世界时 10 月 15 日 15:00。技术博客是同一天 18:01，把结构写成混合专家：120B 参数，每个 token 激活 12B，把推理、指令遵循、工具调用和文本、图像、文档、视频理解放在一个模型里。
“最快”和“最高准确率”是博客的说法。技术博客把吞吐写得更窄：在单块图形处理器上，相对同体量的其他开放模型，智能体任务的吞吐最高大约 5 倍。这一句没有点名对照的是哪一个模型。博客另有一句，称它是同级最快的开放智能体模型，比下一名快 5 倍。下一名是谁，这句里也没有写。
[1][2]
24GB 的 Bolt 现在能下，4GB 的还要等
一起宣布的还有两个边缘模型。Nemotron 3.5 Bolt 74B-A9B 24GB 现在可以下载，用原生 2 比特量化放进 24GB 内存，和别的程序一起跑。博客称，相对内存占用相近的模型，它在 PinchBench 上是同级开放模型第一，在 BrowseComp 上是开放模型第二。对照名单不在正文里。Bolt E4B 4GB 写的是 10 月 23 日才到，现在还不是可下载的发布。
博客写，Super VL 和 Bolt 74B-A9B 已经能下，和 8 月放出的 Lightning、负责最难推理的 Ultra 放在同一族里。
[1]图表分数对照的是自家模型
技术博客写，在图表推理基准 CharXiv 上，这个模型得分 80.8%，Nemotron 3 Nano Omni 是 63%；加上 Python 代码解释后到 84%。Hermes Bench 和 LangChain 行为评测上，Super VL 是 63.44% 和 87.05%，Nemotron 3 Ultra 是 56.33% 和 84.3%。技术博客说，在这两项上 Super VL 高于 Ultra。对照对象是英伟达自己的模型，不是一份外部总榜。
博客写，预训练和继续预训练大约用了 26 万亿 token，后训练大约 380 万条样本，并在数十个环境里做了强化学习。开放数据集放到了 Hugging Face，包括工具使用、金融、指令遵循、长上下文、公平性和视觉语言。
[1][2]客户侧的倍数，有的还是将来时
Scale AI 为 Skydance 的供应商信用处理做了后训练。技术博客写，这项工作的推理成本将降到四十分之一，延迟降到五分之一。时态是将要，不是已经结清的账单。Ramp 把收据图片转成带商户、日期和付款数据的 JSON，预计吞吐最高提高 50%，延迟降到十分之一。AI21 和 Alice 做威胁情报和漏洞分析，准确率提高 41%。41% 没有样本量，也没有原来的基线分数。页首的自动摘要把这三家合成了“成本 40 倍、延迟 10 倍、准确率 40%”，正文没有这样合成，这里分开写。
在 DGX Spark 上，技术博客推荐的 LiLiCorr 相对不做推测解码，token 生成最快大约 2.3 倍。在 16 块 B200 上、每位用户每秒 50 个 token 的条件下，带会话亲和的缓存路由和缓存卸载，能服务的用户最多大约 8 倍，首 token 延迟降低 85%。这是英伟达自己的部署数字。
[1][2]