Maia 200 已经在跑,300 还没有

微软云与人工智能执行副总裁 Scott Guthrie 10 月 12 日写道,Azure Maia 200 已经在承担微软的生产负载,包括 Microsoft Copilot,并支持 MAI 团队开发模型。GitHub Copilot 和 Microsoft Foundry 计划在今年年底前接上。这些负载上,Maia 200 运行 OpenAI 的模型、微软自己的 MAI 模型,以及一些主要的开源模型家族。

Maia 200 正在美国、欧洲和澳大利亚部署。对 Teams、Copilot 和 Cowork 里的内置人工智能,微软写道,它相对主流 GPU 基础设施最多提供 1.7 倍的每瓦词元。这是“最多”,对照的是这些产品里的内置能力,不是所有工作负载的平均数。

[1]
一枚炭黑色的方形芯片,底边是灰蓝,角上有一小块赭红。
一枚炭黑色的方形芯片,底边是灰蓝,角上有一小块赭红。, AI 生成插画,不是新闻照片

千兆瓦级是 2027 年的计划

Guthrie 写道,微软将从 2027 年起把 Azure Maia 家族扩到数千兆瓦的部署,并让 Maia 成为微软产品和服务的主要推理系统。这是计划,不是已经完成的容量。

Maia 300 的生产部署将于 2027 年开始。微软预计,靠整机效率,Maia 300 每兆瓦的词元数比主流 GPU 系统多 40%。满配 96 块加速器时,机架级词元吞吐最多是 Maia 200 的 7 倍。40% 是预期;7 倍带有“最多”,而且对照的是 Maia 200,不是外面的 GPU。

[1]

300 的规格写在纸上

文章把 Maia 300 说成面向长上下文、费内存、偏解码的推理系统。八叠 HBM4 在 950 瓦热设计功耗内提供 18.0 TB/s 的峰值内存带宽。计算芯粒用台积电 N2P。低精度格式包括增强的 MXFP4,用来降低计算和 KV 缓存的内存与带宽需求。文章没有给出因此变长的上下文具体长度。

一套 Maia 300 机架在 167 千瓦功率包络里放 96 块加速器,高带宽内存容量 27.6 TB,合计高带宽内存带宽 1.7 PB/s。更细的结构微软另给了一篇技术论文,这篇博客没有把论文里的测量表抄进来。

[1]