最近大厂推出的Prompt Cache到底是个啥？

文章预览

1. Claude模型推出Prompt Cache 早在8月份，Anthropic的Claude模型 API 推出了提示缓存功能现（ Prompt Cache） 已在Anthropic API上推出，Prompt Cache可以让开发者在调用API时，复用缓存的上下文，从而降低成本、降低延时。根据官方文档，号称可以降低90%的成本，85%的延迟。 今天这篇文章，我们来看看 Claude API 所使用的 Prompt Cache到底是何方神圣，能带来这么大的收益。 2. 为什么要提出Prompt Cache？ 大语言模型应用开发者应该都有感觉，在具体应用中，往往会有大量的提示词可以被复用，比如：System Prompt、RAG中的文档（特别是长上下文）、提示词模板等。 正因为有这些可以被复用的提示词存在，Prompt Cache就有了其存在的价值。Prompt Cache正式利用了LLM提示词中的可复用部分，在内存中预算计算好，并在这些部分出现在提示词中时直接复用，从而降低延迟。 目前在单 ………………………………