Rohan Paul

OpenAI 正在使 GPT-6 提示缓存更加可靠和可控，添加更高的命中率、诊断、断点、预热和缓存保留推理更改。 长时间运行的代理通常会重新发送指令、工具定义和早期上下文，因此缓存可以避免在连续的 API 调用中重新计算这些前缀。 这种重用可以将缓存输入令牌成本降低高达 90%，同时新的仪表板会显示缓存命中率以及缓存与未缓存令牌量。 当然，高缓存命中率仍然部分是应用程序设计问题。 因为 GPT-6 改进的缓存本身并不能保证良好的经济效益；开发人员仍然需要构建长期运行的代理，以便稳定的指令和工具保持可重用。