独家 | LLM的旅程：从POC（概念验证）到生产环境（下篇）

文章预览

作者： Adva Nakash Peleg 翻译：付雯欣 校对：赵茹萱 本文 约3100字 ，建议阅读 10分钟 本文将从实际项目需求出发，手把手带你了解LLM。  使您的LLM引擎无状态和无服务器化 在编写LLM引擎时，您可能会遇到“会话”或“对话”的概念。在这种情况下，我们需要将这些会话/对话的状态提取到可以在需要时加载的外部位置。这个外部位置可以是分布式缓存或数据库，可以从多个引擎工作节点访问。 以下是提取会话或对话状态的步骤： 步骤1） 提取会话/对话历史。为了使LLM将过去的消息纳入考虑，我们需要传递会话历史。会话历史是一个需要保存在分离的位置，并在需要时加载到提示中的状态。 步骤2） 提取LangChain状态。LangChain库通过设计是有状态的。它在内存中保留了许多信息，这些信息提供了如何继续、到目前为止发生了什么等提示。我们遇到的一 ………………………………