
要点
- 生产系统对每条合格广告以接近排序级模型质量打分,并在召回阶段吞吐超过 10 亿广告/秒——相对 2024 Andromeda 约 100 倍。
- Retrieval MoE 推理 FLOPs 约为 2024 版的 1/300;单卡 GH200 上融合内核 >100 亿广告/秒;共置后网络流量约降 100 倍。
- 自 2025 年以来带来约 2.4% 转化提升;与 NVIDIA 协作使组件加速约 2–5 倍,索引匹配 >1000 亿广告/秒。
Meta 工程博客在 2026年10月28日披露新一代广告召回引擎 Andromeda:在召回规模上用接近排序阶段的模型质量给每条合格广告打分,并宣称单 GPU 服务器吞吐超过 10 亿广告/秒——相对 2024 年同名系统约 100 倍。
真正的论点不在“又一个更大的塔”。文中反复强调:当候选池被生成式创意工具推到前所未有规模时,瓶颈已从模型 FLOPs 转到内存带宽与跨主机网络;近排序质量要靠模型—系统—GPU 一体化,而不是单独加宽用户塔。
[1]召回是广告推荐管线的第一阶段:在毫秒内把海量合格广告收成一小撮强候选,再交给更贵的排序。2024 Andromeda 已在 NVIDIA GH200 上做端到端优化,模型容量跃升四个数量级,但吞吐仍在每卡每秒数千万广告量级;业务需求则指向每卡每秒数十亿。
新架构引入 Retrieval Mixture-of-Experts:多用户专家塔吸收序列互动、群体表征、LLM 语义与跨面共现信号;候选广告塔融合实时服务上下文;交互层用 MoE 注意力门控做动态路由。官方称其在典型召回—排序系统中逼近排序级表现,推理 FLOPs 约为 2024 召回模型的 1/300。
[1]系统侧两招:把“取嵌入—交互—打分”整段熔进单内核,中间结果留在寄存器与共享内存、不再落 HBM;把索引匹配、打分与 top-K 共置到同一 GPU 机箱,请求只传紧凑用户特征与定向查询,最终只回 top-K,网络流量约降 100 倍。融合内核在单卡 GH200 上 >100 亿广告/秒;共置后整条生产管线 >10 亿广告/秒并给每条合格广告打分。
与 NVIDIA 的早期 2026 合作把门控内核从 24 亿推到 >100 亿广告/秒(约 5.3×,约达峰值 HBM 带宽 85%);INT8 相对优化后的 FP16 再最多约 2×;索引匹配 >2× 至 >1000 亿广告/秒。广告主侧:自 2025 年以来 Andromeda 在 Facebook 上带来约 2.4% 转化提升。
[1]钢人反驳:100× 吞吐与 300× FLOPs 削减是相对 Meta 自己的 2024 基线,不是跨厂商排行榜;2.4% 转化是业务复合结果,难归因到单一内核;共置架构对中小广告平台的可移植性有限。
仍待核验:公开可复现的端到端延迟分布、与排序模型的质量对齐协议、Grace Blackwell 上 CPU/GPU 配比实验的量化结论,以及生成式广告候选池增长率。事实置信度高(工程细节自洽);外推到“所有推荐召回都必须走融合 GPU 管线”置信度中等。
[1]对广告主,同一延迟预算下可匹配更大候选池,转化提升自动发生在召回层。对基础设施买家,内存/网络协同设计意味着下一轮采购指标不只是 TFLOPS,而是 HBM 利用率与是否还能把定向逻辑搬上 GPU。对其他推荐系统,这提示:当候选规模爆炸时,“更大的 dense 塔”可能已是错误的帕累托方向。
[1]未来六个月应看:INT8 与更多检索通路是否进入生产而不伤转化;Grace Blackwell 上不同 CPU–GPU 配比对 Andromeda 类负载是否出现拐点;以及竞争对手是继续堆排序算力,还是公开对标“召回阶段近排序质量 + 十亿级广告/秒”这条线。
[1]