Outlines：让LLM结构化输出可控，提升LLM应用的稳定性

文章预览

在面向LLM进行应用开发时，LLM相较于传统接口服务来讲的一个大的优势，即能够生成更符合人习惯的自然语言输出，但是这对于系统集成来讲却是一个障碍，系统之间的交互通常是结构化的。这就要求我们需要让LLM以某种格式输出，比如json，以便后续处理。通常做法是， 是在 prompt 中提供格式要求（并最好提供示例）来进行约束，但这并非百分之百有效，进而影响应用的稳定性。 Provide 3 suggestions for specific places to go to in Seattle on a rainy day. Respond in the form of JSON. The JSON should have the following forma [ { "venue": "...", "description": "..." }, { "venue": "...", "description": "..." } ] 面对这样可能的边缘情况，笔者之前介绍过微软相关的技术，如 Guidance， typechat，详情阅读《 新一代的交互形式LUI（language user interface）到来，微软为它架了一座桥 》。 选项： import outlines m ………………………………