【论文解读】Qwen2.5 技术报告

文章预览

2024年12月阿里发布的 Qwen2.5 的技术报告：[2412.15115] Qwen2.5 Technical Report  https://arxiv.org/abs/2412.15115 TL;DR 研究动机 ：构建更强大、更通用、更易用的LLM，克服现有模型在规模、数据质量、长文本处理等方面的局限。 核心创新 ： 预训练数据扩展 ：将高质量预训练数据从 7万亿 词元扩展到 18万亿 ，增强模型的常识和专业知识。 数据质量提升 ：严格数据过滤，加入数学、编程等专业领域数据，生成高质量合成数据，优化数据混合策略。 模型规模多样化 ：提供从 0.5B 到 72B 参数的模型，包括密集模型和MoE模型，满足不同资源和应用需求。 后训练强化 ：实施精细的 监督微调 （超百万样本）和 多阶段强化学习 （DPO和GRPO），提升指令遵循、逻辑推理等能力。 长文本能力增强 ：引入 YARN 和 双块注意力（DCA）  技术，支持最长 100万 词元的上下文处理，特别 ………………………………