专栏名称: AINLP
关注AI、NLP相关技术,关注算法研发职位和课程;回复"文章"获取历史信息;双语聊天机器人"无名";中英翻译请输入:翻译 翻译内容;自动对联,请输入:上联 上联内容;调戏夸夸聊天机器人,请求夸、求赞;查询相似词,请输入: 相似词 词条
今天看啥  ›  专栏  ›  AINLP

Qwen2.5系列模型开源,你值得拥有!!!

AINLP  · 公众号  ·  · 2024-09-19 17:39

文章预览

Ta来了,Ta来了,Ta带着7个Size的开源模型迎面走来了。 是的,期待已久的Qwen2.5开源了,共有7个尺寸规模,包括:0.5B、1.5B、3B、7B、14B、32B和72B,分别有Base模型和Instruct模型。 本次全是Dense模型,没有MoE模型。 同时还开源了Qwen2.5-Coder模型和Qwen2.5-Math模型。 还开了GGUF、GPTQ和AWQ 3种量化模型,别问,就是服务到位,主打一个“全”。 你有Llama3.1,我有Qwen2.5,请问阁下如何应对。 下面从模型说明、效果说明、 Qwen2.5-72B实测 、快速使用等几个方面来介绍一下刚刚开源的Qwen2.5系列模型。 Blog: https://qwenlm.github.io/blog/qwen2.5/ HF: https://huggingface.co/collections/Qwen/qwen25-66e81a666513e518adb90d9e 模型介绍 训练数据从Qwen2的7T Tokens 扩展到了Qwen2.5的18T tokens。 上下文最大长度128K,其中超过32K的部分利用YARN来进行外推处理,并且 最大生成长度8K(从1K升级到 8K),更大的输出 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览