Charles Frye

结果发现问题在于路由——基于会话 ID 的一致性哈希不足以解决负载过度分散的问题。 因此，我们添加了有状态、负载+KV 感知的路由、色散下降（Fano Factor ~4 -> ~0.5）以及 TTFT 尾部。