Qwen2-Math开源，包含1.5B/7B/72B三种参数规模的数学模型

主要观点总结

本文介绍了Qwen团队开源的Qwen2-Math系列模型，该模型专注于数学推理能力，包括1.5B/7B/72B三种参数规模。文章详细阐述了Qwen2-Math模型的特点、基座模型的构建和训练方法、指令微调模型的优化以及使用方式。该模型在多个数学基准评测上表现优异，显著优于其他模型。此外，文章还介绍了Qwen团队后续的工作计划和AINLP社区的相关活动。

关键观点总结

关键观点1: Qwen2-Math系列模型的开源

Qwen团队再次开源了Qwen2-Math系列模型，这是一个专注于数学推理能力的模型，包括不同参数规模，并在一系列数学基准评测中表现出卓越的性能。

关键观点2: Qwen2-Math基座模型的构建和训练

Qwen2-Math基座模型使用Qwen2系列基座模型进行初始化，并在精心设计的数学专用语料库上进行增量预训练。该模型在多个英语数学基准上进行了评估，并表现出优异的表现。

关键观点3: 指令微调模型的优化

在指令微调阶段，Qwen2-Math模型结合了奖励模型与判别模型，使用GRPO对SFT模型进行优化。该模型在更具挑战性的考试和数学基准评测上进行了评测，并显著优于其他模型。

关键观点4: 模型的使用方式

读者可以直接使用Instruct模型进行性能测试，测试脚本和示例提供。同时，文章还介绍了如何添加AINLP小助手微信进入技术交流群参与讨论。

文章预览

01 简介 🎉好消息，继今年6月份Qwen2系列模型开源后，Qwen团队秉持着优良的开源传统，在8月8日深夜再次开源了Qwen2-Math系列模型。这是一个专注于 数学推理 能力的模型，该系列模型包括1.5B/7B/72B三种参数规模。 ModelScope： https://modelscope.cn/organization/qwen?tab=model HuggingFace： https://huggingface.co/collections/Qwen/qwen2-math-66b4c9e072eda65b5ec7534d Qwen2-Math是基于Qwen2大模型所构建的专门用于数学解题的语言模型，其数学能力显著超越了此前的开源模型，甚至超过了闭源模型（如 GPT-4o）。 Qwen2-Math在复杂的多步逻辑推理的高级数学问题上具有优秀的表现， 在一系列数学基准评测中， Qwen2-Math-72B-Instruct 超越了最先进的模型，包括 GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro 和 Llama-3.1-405B。 注：此次开源的模型主要支持英语，后续将推出中英双语版本，敬请期待 。 02 Qwen2-Math基座模型 ………………………………