文章预览
MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 机器之心 在大语言模型（LLMs）后训练任务中，由于高质量的特定领域数据十分稀缺，合成数据已成为重要资源。虽然已有多种方法被用于生成合成数据，但合成数据的理论理解仍存在缺口。为了解决这一问题，本文首先对当前流行的合成数据生成过程进行了数学建模。在此基础上，本文证明了后训练模型的泛化能力关键取决于生成模型带来的信息增益，并从一个新的反向瓶颈视角进行了分析。此外，本文引入了互信息泛化增益（GGMI）的概念，阐明了泛化增益与信息增益之间的关系。我们希望为合
………………………………
