活动报名｜数学指令数据合成，大规模数据合成和泛化性提升

文章预览

报告主题： 数学指令数据合成：大规模数据合成和泛化性提升 报告日期： 09月25日（周三）10:30-11:30 报告要点: 最近，链式思维（CoT）和思维程序（PoT）方法的进展显著提升了语言模型的数学推理能力，促进了它们在大型语言模型（LLM）的指令微调数据集中的应用。 然而，现有的大规模数据集创建方法需要大量的种子数据和高昂的计算成本，这在扩展性方面面临着重大挑战。 我们引入了InfinityMath，这是一个可扩展的编程数学推理指令微调数据集。 其构建流程侧重于将数字从数学问题中解耦，以生成与数字无关的程序，从而在减少对特定数值依赖的同时，实现高效且灵活的扩展。 通过对开源语言和代码模型（如Llama2和CodeLlama）的微调实验，验证了InfinityMath的实际优势。 这些经过微调的模型在域内和域外基准测试中的相对提升显著，平均提升幅度 ………………………………