大模型如何生成可控文本？人大等最新《大型语言模型的可控文本生成》综述

文章预览

在自然语言处理（NLP）领域，大型语言模型（LLMs）已展示出高质量的文本生成能力。然而，在实际应用中，LLMs必须满足日益复杂的需求。除了避免生成误导性或不恰当的内容外，LLMs还需要满足特定用户的需求，例如模仿特定的写作风格或生成具有诗意丰富性的文本。这些多样化的需求推动了可控文本生成（CTG）技术的发展， 确保生成的文本符合预定的控制条件——如安全性、情感、主题一致性和语言风格——同时保持高标准的有用性、流畅性和多样性 。 本文系统回顾了大型语言模型中CTG的最新进展，全面定义了其核心概念，并阐明了控制条件和文本质量的要求 。我们将CTG任务分为两大类：内容控制和属性控制。讨论了关键方法，包括模型重训练、微调、强化学习、提示工程、潜在空间操作和解码时干预。我们分析了每种方法的特点、优缺点， ………………………………