Anthropic发布新API：成本降低50%，吞吐量大增

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 知名大模型平台Anthropic发布了一种新的消息批次API，这是一种强大且经济高效的异步处理大量查询的方法。 新的API可帮助开发者每次可发送多达10,000个查询的批次。每个批次能在不到 24 小时内处理完成，且成本比标准API调用低50%。 该API还有两大技术优势： 1）增强的吞吐量享受更高的速率限制，以便处理更大的请求量而不影响开发者的标准API速率限制； 2）数据可扩展性，无需担心基础设施问题即可处理大规模任务，例如，数据集分析、大型数据集分类或广泛模型评估等。 目前，该API 可在公开测试版中可用，支持Claude 3.5 Sonnet、Claude 3 Opus 和 Claude 3 Haiku模型。在亚马逊 Bedrock 中使用 Claude 的客户 ………………………………