成本直降 90%、延迟缩短 80%！Anthropic 将 API 玩出了新花样，网友：应该成为行业标配

文章预览

编译 | 核子可乐、Tina Anthropic 在其 API 上引入了新的提示词缓存机制，可将长提示的成本降低多达 90%，并将延迟降低 80%。 提示词缓存功能能够记住 API 调用之间的上下文，并帮助开发人员避免输入重复提示内容。目前该功能已经在 Claude 3.5 Sonnet 以及 Claude 3 Haiku 当中以 beta 测试版的形式开放，但对 Claude 旗下最大模型 Opus 的支持仍未交付。 提示词缓存的概念源自 2023 年的研究论文，其允许用户在会话中保留常用的上下文。由于模型能够记住这些提示词，因此用户可以添加额外的背景信息而不必重复承担成本。这一点对于需要在提示词中发送大量上下文，并在与模型的不同对话中多次引用的使用场景非常重要。它还允许开发人员及其他用户更好地对模型响应作出微调。 Anthropic 表示，早期用户“已经在多种用例中观察到，使用提示词缓存后速度及成 ………………………………