Rohan Paul

新的 @cohere 论文发现，即使在批量大小为 1 的情况下，推测性解码在细粒度 MoE 模型上也能很好地工作，而之前的工作预测收益很小。 发现在专家混合模型中，相邻令牌共享 20% 到 45% 的专家，而预期为 4% 到 12%，这使得推测性解码比预期便宜。 推测性解码让小型起草者提出令牌，供大型模型一次性检查。对于 MoE 模型，之前的工作表明检查多个令牌会增加许多额外的专家，从而限制了小批量大小的收益。 他们测试了从 30B 到 1T 参数的 10 个 MoE 模型，并在 H100 GPU 上对它们进行了分析。连续的令牌会重用许多专家，而小专家可以很好地利用 GPU 带宽，因此检查额外的令牌成本很低。 相邻代币共享 20% 至 45% 的专家，而独立路由的预期为 4% 至 12%。对于 FP8 中的 Qwen3-235B，验证通过的运行速度为正常解码步骤速度的 89%，而预测速度为 52%。 对于小批量 MoE 服务（例如代理工作负载），请在硬件上对推测性解码进行基准测试，而不是排除它。