预训练做完了，后训练还没做完
Microsoft AI 的实验笔记写，他们刚完成 MAI-Base-2 的预训练。这是混合专家基座，激活参数 800 亿，总参数 2.8 万亿。他们把这个基座称为 state-of-the-art。页面日期是 2026 年 10 月 15 日，机器时间是世界时 16:09，北京时间 10 月 16 日凌晨 0 点 09 分。后训练还在进行。MAI-Base-3 的准备已经开始。准备是计划，不是又一次发布。
他们写，完整技术栈让模型和基础设施可以一起调，先用在自己的产品里，再给 Foundry 的客户。后训练没有做完，所以这还不是一篇交付说明。
[1]
4 到 12 倍是他们相对一个基座的估计
他们写，在自己的留出评测上，MAI-Base-2 比测过的每一个开放权重模型都更好。相对他们称为最强开放基座的 DeepSeek-V4-Pro-Base，预训练 FLOPs 效率高 4 到 12 倍。省下的算力用来把模型做大。他们还写，DeepSeek-V4-Pro-Base 是唯一一个已经放出、总参数超过一万亿的基座预训练检查点，所用 FLOPs 仍然明显少于 MAI-Base-2。
留出评测看的是每字节比特数，越低越好。正文写，在这些评测上 MAI-Base-2 低于他们测过的其他模型。图上的具体刻度没有写进正文，这里不补。对比名单以 2026 年 10 月之前能拿到的检查点为限。Kimi K3、Qwen3.8-2.4T-A95B 和 MiMo-V2.6-Pro-RL 只有后训练检查点。他们自己注明，后训练可能影响这些评测。
[1]1.6 万块 GB200，38 天
训练用了 1.6 万块 GB200，时间在 2026 年 8 月和 9 月，一共 38 天。全程平均 MFU，也就是模型 FLOPs 利用率，是 21%。goodput，也就是训练真正在往前走的时间比例，是 89%。MFU 按 2.5 PFLOPS 归一。这是他们写的 GB200 在 BF16 下的理论上限，并且不含重计算和优化器的 FLOPs。
他们写，处理掉动态路由带来的内存碎片、以及更细专家的额外开销之后，MoE 层的 MFU 从 24% 提到 35%，于是每一层都用了 MoE。Muon 相对 AdamW 更稳，也有他们称为很大的效率增益，这篇没有给出倍数。数据上，他们写用的是自有数据，不是从别的模型蒸馏。从 MAI-Base-1 到 MAI-Base-2，独立训练 token 大约增加 36%。网页部分的知识截止是 2026 年 3 月。
[1]