基于大语言模型的合成数据生成、整理和评估综述

文章预览

大语言模型的出现引发了深度学习领域的显著范式转变。尽管有这些进展，大量高质量数据仍然是构建稳健自然语言处理（NLP）模型的基础。然而，由于高成本、数据稀缺、隐私问题等原因，依赖人类数据来满足这些需求有时是具有挑战性甚至是不现实的。此外，多项研究表明，人类生成的数据由于其固有的偏见和错误，可能并不是模型训练或评估的最佳选择。这些考虑促使我们更深入地探讨是否有其他更有效和可扩展的数据收集方法可以克服当前的限制。 鉴于LLMs的最新进展，它们展示了生成与人类输出相当的流畅文本的能力，由LLMs生成的合成数据成为了人类生成数据的一种可行替代品或补充。具体来说， 合成数据旨在模仿真实世界数据的特征和模式 。 下面两个优势使LLMs成为极具前景的合成数据生成器： 一方面，LLMs通过广泛的预训练，积累 ………………………………