提示词缓存

提示词缓存是什么

提示词缓存（Prompt Caching）是大模型 API 提供的一种计费与加速机制：如果两次请求的开头部分（前缀）完全一致，服务商缓存该部分，后续请求中的相同前缀按折扣价计费（OpenAI/Anthropic 等通常约为原价 10%），同时首字延迟更低。

简单说：重复发送的长系统提示词、长文档上下文，第二次起"更便宜、更快"。

典型场景

• 系统提示词固定：Agent 应用每次请求都带相同长指令
• 长文档问答：把整篇文档放上下文，多轮提问
• 多轮对话：历史消息不断累积，前缀大部分重复
• 批量处理：同一模板处理多条数据

工作机制

• 按前缀匹配：缓存必须逐 token 完全一致才命中
• 自动生效：多数服务无需配置，符合条件自动缓存
• 有效期：缓存有时间窗口（如几分钟到几小时），过期需重建

注意事项

• 顺序敏感：前缀一旦变化（如中间插入内容），缓存失效
• 不同服务规则不同：缓存时长、折扣比例、是否计费有差异，需看文档
• 成本测算：把长上下文放"缓存区"，反复使用最划算

一句话总结

提示词缓存是做大模型应用的成本杠杆：把稳定内容放前缀、复用它，长上下文应用的 API 开销可以降到十分之一量级。