如何正确约束输出格式，Deepmind最新：让LLM精准生成任何格式的文本，COLM2024

文章预览

点击上方 蓝字 关注我 本文：4800字阅读  12分钟   当我们要求模型生成 JSON 、 API 调用或代码片段时，它们往往会出现语法错误，导致下游解析失败。 随着多模态 LLM 的广泛应用以及多个 LLMs 协作，如何在保持其强大能力的同时，让其输出符合特定格式要求，成为越来越棘手的问题。 最前沿的一些研究发现了一个令人兴奋的方向：通过精心设计的智能格式约束方法，我们不仅可以确保输出的结构化，还能进一步增强 LLM 的性能。 01 传统方法的局限 过去，我们通常采用两种方法来提高 LLM 生成特定格式文本的能力： 1. 对模型进行微调，使其更好地遵循特定的语法规则。 2. 在解码阶段应用约束，限制模型只能生成有效的输出。 然而，这两种方法都存在明显的缺陷。微调需要大量的计算资源，而且对于不常见或特定任务的格式来说，往往不太实际。 ………………………………