Qwen2来了，成为了开源模型的SOTA！

文章预览

点蓝色字关注 “机器学习算法工程师 ” 设为 星标 ，干货直达！ 阿里通义团队刚刚开源了Qwen2，相比之前的Qwen1.5，性能上有明显提升。 这次开源的模型包括5个不同参数量的模型，分别是Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B, and Qwen2-72B，其中Qwen2-57B-A14B是一个MoE模型，其它4个模型为Dense模型。模型参数信息如下所示： 所有的模型均开源了Base和Instruct模型，Base模型的上下文长度为32K，但是Qwen2-7B-Instruct 和 Qwen2-72B-Instruct扩展为128K上下文。 Qwen2除了支持英语和中文，还额外使用其它27种语言训练。 最大的模型Qwen2-72B在各个方面超过Llama3-70B： 而Qwen2-7B在各个方面超过Llama3-8B和GLM4-9B： Qwen2在数学和编程两个方面表现突出。在编码方面，Qwen2成功地整合了来自CodeQwen1.5的代码训练经验和数据，这使得Qwen2-72B-Instruct在各种编程语言上都有了显著的提升。在数 ………………………………