缓存经济学：决定你 AI 账单的那一行

在生产级 AI 账单上，决定成本的关键条目已不再是模型选择，而是提示词缓存。理解缓存经济学已成为 AI 工程中杠杆率最高的技能。

缓存经济学：决定你 AI 账单的那一行

问问工程团队是什么决定了他们的 AI 成本，多数人都会回答：模型。这个答案越来越站不住脚。在生产工作负载上，决定性因素是提示词缓存——深刻理解这一点的团队，正在不更换任何模型的情况下把系统成本压缩一个数量级。

真实流量的形态。生产环境的提示词高度前缀化：同一段系统提示词、同一组工具定义、同一批文档上下文被反复发送，末尾只附加一个不断变化的小问题。按目录定价，这个前缀每次都要全额计费。而缓存会在首次请求后将其存储，后续读取仅按输入价格的一小部分计费——这一机制如今每家主流厂商都支持，缓存读取价格远低于目录价，保留窗口从几分钟到一小时不等。

算一笔账。以一个每次请求都携带 100,000 token 仓库上下文的编码助手为例，就能看清利害。若无缓存，这个前缀以完整输入价格主导成本。而在 90% 的缓存命中率下，前缀的有效价格大约下降一个数量级——这种节省是任何模型切换都无法企及的，因为没有任何模型切换能改变“前缀会重复”这一事实。

工程纪律。缓存经济学奖励结构化设计：使用稳定的提示词前缀而非动态打乱的内容；安排上下文顺序，让变化的部分位于末尾；留意保留窗口，让重复请求落在窗口之内。把提示词设计当作缓存感知架构来对待的团队，能看到 60–90% 的命中率；每次请求都重新生成前缀的团队，则一无所获。

战略后果。随着厂商在缓存定价上展开竞争——而且这场竞争日趋激烈——缓存感知与缓存无感的实现之间的差距，会逐渐扩大为产品可持续与不可持续之别。本月就去审计你的提示词。最便宜的 token，是你永远不必付两次钱的那个 token。