阿里云开源通义千问Qweb2 在测试中表现不俗

文章预览

阿里云今天推出了通义千问人工智能模型的重大升级版本：Qwen2，该模型提供 5 个不同的尺寸、上下文长度最高支持 128K tokens，并且在各项测试中表现不俗。 Qwen2 的所有尺寸版本均已同步在 GitHub、HuggingFace 和 ModelScope 上开源，有兴趣的开发者可以立即获取模型进行测试。 此次发布的新版本亮点包括： 能力较此前版本有较大幅度提升，在开源模型测试中名列前茅 提供 5 个预训练和指令微调模型，包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B 在编程领域和数学方面的能力显著提高 增加上下文长度，现在最高支持 128K tokens 在中文和英语的基础上，增加 27 种语言相关的数据进行训练 在 Qwen1.5 系列模型中只有 32B 和 110B 版使用 GQA，而在 Qwen2 中所有模型都使用 Qwen2，使用 GQA 后有助于提升推理能力和降低显存的占用。 同时诸如 Qwen2-0.5B 和 1.5B 版 ………………………………