突破数据合成scaling瓶颈！7B模型可以赶超GPT4-Turbo

主要观点总结

本文介绍了作者团队提出的数据生成方法ScaleQuest，用于解决大语言模型在复杂任务中的推理能力问题。由于高质量的训练数据难以获取，作者团队提出了一种新的数据生成方法，具有可扩展性强、经济高效、数据质量高等优势。文中详细描述了ScaleQuest的数据生成流程，包括问题微调（QFT）、问题偏好优化（QPO）、问题筛选、回答生成与奖励筛选等步骤。实验结果表明，ScaleQuest生成的数据在多个难度层次的评估中表现优异，与GPT-4的表现相当甚至更优。消融实验验证了各个子方法的有效性。此外，文章还讨论了使用多个问题生成器的影响以及成本分析。

关键观点总结

关键观点1: 数据生成方法ScaleQuest的提出及其优势

为了解决大语言模型在复杂任务中的推理能力问题，作者团队提出了一种新的数据生成方法ScaleQuest。该方法具有可扩展性强、经济高效、数据质量高等优势。

关键观点2: ScaleQuest的数据生成流程

ScaleQuest的数据生成流程包括问题微调（QFT）、问题偏好优化（QPO）、问题筛选、回答生成与奖励筛选等步骤。这些步骤共同保证了生成数据的质量和多样性。

关键观点3: 实验结果及消融实验

实验结果表明，ScaleQuest生成的数据在多个难度层次的评估中表现优异，与GPT-4的表现相当甚至更优。消融实验验证了各个子方法的有效性，包括QFT、QPO和奖励筛选等。

关键观点4: 多个问题生成器的影响及成本分析

使用多个问题生成器可以提高合成数据的多样性。成本分析表明，ScaleQuest的数据生成方法在成本效益上显著优于其他方法。

关键观点5: 未来展望

作者团队计划将ScaleQuest方法应用于更广泛且更复杂的任务，如编程竞赛和科学问题。此外，他们还将致力于扩展数据合成的规模，并探索合成数据的扩展规律。

文章预览

作者: 丁誉洋 项目链接: https://scalequest.github.io/ 复杂任务的推理能力已成为当前大语言模型的核心竞争力，也是各大厂商争相角逐的关键领域。OpenAI将其 o1 模型定位为"解决复杂问题的推理模型"，幻方、千问等团队也相继推出了专注于数学和编程的领域大模型。 高质量的训练数据是提升大语言模型推理能力的基础。然而，由于人工标注成本高昂，大规模的高质量数据难以获取。现有研究表明，合成数据可以作为一种高效的替代方案。但目前开源合成数据在 数据质量 和 数据多样性 上仍存在不足，进而导致随着训练数据规模的扩大，模型的训练效果难以持续稳定提升。 我们提出了一种新的数据生成方法ScaleQuest，生成的数据有以下优势： 可扩展性强 ：如图1右图所示，随着训练数据的扩大，模型性能持续提升。和现有的开源数据集相比，突破了合 ………………………………