Anthropic API新增提示缓存功能：成本降低90%，延迟降低85%

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 著名大模型平台Anthropic的API新增提示缓存（Prompt Caching）功能，可以帮助开发人员轻松缓存API调用之间经常使用的上下文，同时能将长提示的成本降低90%，延迟降低85%。 目前，新的API提示缓存功能已经支持Claude 3.5 Sonnet 和 Claude 3 Haiku模型，很快会也会支持Claude 3 Opus。 提示缓存的工作原理非常简单， 当用户发送一个启用提示缓存的请求时，系统首先检查提示前缀是否已经从最近的查询中缓存 。 如果找到了，它就使用缓存版本，从而减少了处理时间和成本；如果没有找到，它就处理完整的提示并缓存前缀以供将来使用。 这对于包含许多示例的提示、大量的上下文或背景信息、具有一致指令的重复 ………………………………