Charles Frye

我们之前写过推测性解码对于交互性有多重要，这一点没有改变。 这次的新内容，至少对于我们公开分享的内容来说是这样：分层 KV 缓存和更智能的路由。