浅色背景中央有一颗发光的青色立方体,细线把它连向一圈圈较小的蓝色、青绿色和透明立方体。
Meta Engineering 介绍 Intelligent Delivery 一文中的题图。, Meta Engineering

要点

  • Meta 称,广告排序模型正朝着大语言模型的规模增长,速度快于承载它们的硬件;多出来的一单位算力,对某些请求、模型和芯片的帮助大于对其他对象。
  • Intelligent Delivery 被描述为一层由机器学习驱动的算力分配系统。公司称,从 2017 年到 2026 年上半年,它在模型和系统改进之外,额外贡献了约 10% 的排序表现。
  • Resource Core Model 拥有 60 亿稀疏参数和 2000 万稠密参数,在候选检索之前只运行一次。Meta 称,把分配问题改写成两个机器学习问题后,在离线基准上识别最高影响广告请求的能力比此前的生产模型提高了约 20%。
  • 分配被拆到多个层次:地区之间的流量调度,Intel、AMD、Arm 的 CPU 以及 NVIDIA、AMD、MTIA 加速器等硬件匹配,以及在尾延迟目标约束下的单机配额。
  • 2026 年上半年,智能体参与了约 20% 的 Intelligent Delivery 优化,在自动化程度最高的机制上约占工程工作的 80%。工程师仍负责审阅并批准最终改动。Meta 称,这把优化周期从数月缩短到数周。

2026年11月11日,Meta Engineering 发表文章,介绍 Intelligent Delivery,也就是公司用来决定每一单位广告推理算力该去哪里的系统。时间点并不偶然。排序模型正朝着大语言模型的规模增长,而必须在几百毫秒内跑完这些模型的机群,容量有限,硬件构成也不均一。Meta 的主张是:排序质量的下一次提升,可以来自更好地决定,下一个单位的算力该给哪一个请求、哪一块芯片、漏斗中的哪一个阶段。

[1]

Meta 说它建了什么

Intelligent Delivery 被写成一层架在推理栈之上的机器学习系统,持续把资源导向边际效用最高的请求、模型、硬件机群和排序阶段。公司称,从 2017 年到 2026 年上半年,这一层在模型和系统改进之外,在主要产品面上额外贡献了约 10% 的广告排序表现。

在 Meta 的叙述里,有三项困难让这件事不好做。多出来的一单位算力能带来多少回报,取决于产品面、用户意图、候选质量和系统状态,而且还必须在毫秒级完成估计。某一个地区或某一个排序阶段上局部看起来正确的选择,对整个系统可能是坏选择。模型、硬件和架构一变,最优点也会跟着移动。

第一项能力是共享的请求理解层。Meta 过去按较粗的分段给请求分组,再手工写策略。它说,随着新信号不断增加,这种方法无法扩展;彼此独立的分段也无法捕捉上千个信号之间的非线性相互作用。于是它把两个问题写成机器学习任务:哪些广告请求最可能从更多算力中受益,以及不同的资源设置会如何改变结果和推理表现。Resource Core Model 是一个拥有 60 亿稀疏参数和 2000 万稠密参数的网络,在候选检索之前只运行一次,并在整个投放漏斗中共享。再从它微调出专门模型,用来预测对结果、算力消耗和延迟的增量影响。Meta 称,在主要产品面的离线基准上,这比此前的生产模型把“最高影响请求”的识别提高了约 20%。

[1]

一个请求如何被调度

第二项能力是一层层的分配器。原因是,单一控制器很难干净地在数据中心、不同代硬件和多阶段栈之间调动资源。Meta 用一个请求把流程走了一遍。首先,该由哪个地区来服务?流量和容量并不总在同一地点,各地区的硬件构成和余量也不同。公司建立了可在数分钟周期内在地区之间转移流量的基础设施,目标是让每个地区在最后一单位容量上达到同样的效率。

其次,请求该落到哪类硬件上?机群包括 Intel、AMD、Arm 的 CPU,以及 NVIDIA、AMD 和 Meta 自研 MTIA 的加速器,而且各有几代产品。这些容量不能随便互换。检索常常受内存限制,排序受算力限制,模型推理受加速器吞吐限制。Meta 称,它会测量每一种工作负载与芯片组合的效率,再把稀缺硬件分给能把它变成最多有效工作的负载。

第三,在单台机器内部,这个请求能占用多少资源?并发请求的延迟预算和预期影响不同,同时还要满足严格的尾延迟目标。模型实时预测可能的结果,以及算力和延迟成本。然后,一个带约束的优化器把主机预算花在影响更大的工作上;负载升高时,先削减影响低、消耗大的工作。控制范围从内核调度器一直延伸到应用线程池。再往后的决定还包括:每个排序阶段要排多少条广告,以及哪些候选进入池子。

这些选择是耦合的。地区之间转移流量会改变单机负载,单机负载又会改变每个请求被允许做多少工作。Meta 称,它会在覆盖全链路、并能把结果送回系统的硬件测试环境中验证改动,以便优化的是全系统结果,而不是局部结果。

[1]

优化循环中的智能体,以及这些证据的限度

第三项能力是优化循环本身。Meta 称,当新的模型、机制或硬件世代到来时,它无法在数百万个可调维度上暴力搜索每一种配置。靠工程师凭经验挑选,已经跟不上。后来的约束优化有帮助,但只覆盖少数旋钮,也难以吸收已有的人工判断。

现在的做法是让 AI 智能体阅读机制源代码、设计文档和十年的实验日志,再提出少数值得测试的改动。工程师审阅并批准最终上线的内容。Meta 称,2026 年上半年,智能体参与了约 20% 的 Intelligent Delivery 优化;在自动化程度最高的机制上,它们现在约占工程工作的 80%,从提出假说到运行实验。公司说,这把循环从数月缩短到数周,同时仍由人来掌控。

所有这些数字,包括 2017 年以来的 10%、离线基准上的 20%,以及智能体的 20% 和 80%,都来自 Meta。没有独立审计,也没有对“排序表现”的公开定义,更没有把这层分配系统与九年里其他推理工作分开的拆解。10% 是一个很长窗口上的累计值。它是公司自行报告的增量,不是第三方测量。

[1]

一个公平的反对意见

一种公平的读法是:大型广告系统做流量调度、硬件安置和考虑延迟的调度已经多年,Intelligent Delivery 只是把这套做法变得更统计化,再配上一个大型请求模型和一些由智能体起草的实验建议。按这种看法,“自 2017 年以来约 10%”这个时间窗口足够长,几乎任何持续进行的推理优化项目都能声称类似的增量;而智能体的占比衡量的是内部工作流程,不是广告质量。

这个反对意见是公平的。它并不能取消那个更窄的要点。如果排序模型正在迁到以固定块提供的 GPU 上,就像 Meta 所说它的生成式广告模型 GEM 正在发生的那样,那么过去在 CPU 上给请求切分时间片的习惯就会开始失效。有意思的主张并不是 Meta 发明了资源分配,而是:当排序模型接近大语言模型的规模时,真正的约束变成了如何分配不均一的容量,而且这种分配必须按每个请求来预测,而不能再写成静态规则。

[1]

这对运行模型的人意味着什么,而不只是对广告

对 Meta 来说,利害在于:能否在同样的容量和同样的延迟目标下,继续把更大的排序模型提供给更多人。对其他也在运行昂贵推理的人来说,可迁移的想法更小:当模型已经很大时,下一次质量提升,可能来自决定哪些流量值得走那条昂贵的路径。

Meta 称还有两个方向没有解决。一是把请求理解和投放决策融合成一个能实时做出决定的模型,而不再需要数月实验。二是为 GPU 重新设计这些调节手段,因为 GPU 的容量以整块提供,批处理和内存的行为也与 CPU 时间不同。这些是研究方向,不是已经摆在桌上的结果。

[1]

未来六个月该看什么

可以核对的检验是:Meta 是否会更清楚地定义这 10% 的排序指标,智能体提出的改动是否继续在生产中占有可测量的成功份额,以及面向 GEM 规模模型的 GPU 分配工作,是否会带上数字,而不只是作为未来计划来描述。在那之前,可以把 Intelligent Delivery 当作对一个其他大型推理系统也会遇到的问题的认真说明,同时把这些百分比当作 Meta 自己的记账。

[1]