阿里发布最强开源模型

文章预览

阿里昨晚开源了通义Qwen2模型，可以说是现阶段这个规模最强的开源模型，发布后直接在 Huggingface LLM 开源模型榜单获得第一名，超过了刚发布的 Llama3 和一众开源模型。Huggingface 亲自发布。当然测试得分也超过了一系列国内不开源的模型。 模型概况 Qwen 2 模型系列有五个尺寸的模型组成，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B，其中Qwen2-57B-A14B为混合专家模型（MoE）。 模型在中文、英文语料基础上，训练数据中增加了 27 种语言相关的高质量数据； 增大了上下文长度支持，最高达到 128K  tokens（Qwen2-72B-Instruct）。 多个评测基准上的领先表现； 代码和数学能力显著提升； 模型细节 在Qwen1.5系列中，只有32B和110B的模型使用了GQA。这一次，所有尺寸的模型都使用了GQA，以便让大家体验到GQA带来的推理加速和显存占用降低的优势。针对小模型 ………………………………