Rohan Paul
@rohanpaul_ai
彭博社:在拒绝续签围绕 Bing 构建的 2023 年合同后,微软将关闭从甲骨文租用的人工智能服务器。
据知情人士透露,随着时间的推移,由于甲骨文的硬件运行的是老一代的 Nvidia 芯片,这些芯片不再符合微软的规格,因此容量逐渐失去价值。
基本上,微软按 GPU 小时付费。对于类似的功率,Blackwell GPU 产生的推理输出是 H100 的几倍,因此每个 Hopper 或安培小时现在花费的工作量要少得多。
当前的前沿模型通常是大型专家混合设计,需要大量内存和 GPU 之间的快速链接。 H100 拥有 80GB 内存,可与其服务器中仅 8 个 GPU 快速通信。 Blackwell 机架将 72 个 GPU 连接为一个单元,每个 GPU 容量为 192 至 288GB。大型模型要么不适合旧机器,要么在较慢的网络上运行缓慢。
甲骨文表示,对其人工智能基础设施的需求依然强劲,并于 9 月份以比原价高出 20% 的价格续签了 4 年 GPU 的合同。