Cohere

部分结果：使用 North Mini Code（BF16，1×H100），我们在 BS=1 时达到相对 vLLM 的 1.58x，在 BS=8 时端到端服务达到 1.25x–1.41x。