综述 | 大模型的可控文本生成

主要观点总结

本文介绍大模型可控文本生成（CTG）的相关技术，包括任务分类、可控文本生成的方法以及评估方式。文章重点关注Transformer结构的大模型，探索如何将外部控制条件集成到CTG过程中。任务分为内容控制和属性控制，方法分为训练阶段和推理阶段。评估方式包括自动评估、人工评估和基于LLM的评估。

关键观点总结

关键观点1: 可控文本生成的任务分类

任务分为内容控制（结构控制、词汇控制）和属性控制（安全控制、情绪控制、风格控制、主题控制）。

关键观点2: 可控文本生成的方法

方法分为训练阶段（再训练、微调、强化学习）和推理阶段（提示工程、潜在空间操纵、解码干预）。

关键观点3: 可控文本生成的评估方式

评估方式包括自动评估（一般指标、特殊任务指标）、人工评估和基于LLM的评估。介绍了一些可控文本生成的评测榜单，如CTRLEval、ConGenBench等。

关键观点4: 其他信息

作者提到其新书《大大型语言模型实战指南》即将上架，并介绍了公众号相关信息。

文章预览

大家好，我是刘聪NLP。 大模型已经展现出了较强的文本生成能力，但随着使用场景变得越加复杂和严格，除了避免生成误导或不当言论内容外，往往还希望可以满足用户的特殊需求。而可控文本生成就是为了在保持文本生成有用性、流畅性和多样性的同时，保证文本符合预定的控制条件，例如安全性、主题一致性、语言风格等。 今天给大家带来一篇综述，介绍大模型可控文本生成（Controllable Text Generation, CTG）的相关技术。 Paper: https://arxiv.org/abs/2408.12599 Github: https://github.com/IAAR-Shanghai/CTGSurvey 以Transformer结构的大模型为重点，关注为大模型量身定制的CTG方法 探索如何将外部控制条件集成到CTG过程中、如何定义更有效和有用的文本生成 将CTG任务分为两个类别：内容控制（或语言控制/硬控制）和属性控制（或语义控制/软控制） 将CTG方法分为两个阶段 ………………………………