Rohan Paul

智能体流量对推理服务器来说是一种奇怪的负载。 每一轮都会重发一段很长、几乎相同的前缀（系统提示、工具 schema、历史），然后只要一个短工具调用回来。 在 DigitalOcean 的 Open Intelligence Summit 上，Inferact 的 Yifan Qiao 将在 Serve 赛道做一场关于在智能体生产负载上跑 vLLM 的分享。 正是这种流量形态，让前缀缓存与 KV-cache 复用对智能体比原始每秒 token 数更重要。长前缀一旦缓存未命中，就要在长任务的每一轮重新付全量 prefill 的账。