热门开源大模型集合！

文章预览

自2022年年底ChatGPT的火爆出圈以来，大模型开发的热潮如雨后春笋般涌现，推动了人工智能技术的飞速发展。本文旨在收集并介绍近两年大热的开源大语言模型，为开发者提供一个快速了解并认识最新、最热大模型的窗口。 此外，趋动云『社区项目』已经成功引入了多款热门的大语言模型，诚邀广大开发者前来体验与探索。 Llama Llama 1 在 2023 年 2 月发布，参数量分别有7B、13B、30B 和 65B 四个版本。 同年 7 月发布了 Llama 2，参数量分别有 7B、13B、34B 和 70B 四个版本。相较于一代，二代将预训练的语料 token 数量扩充到了 2T（万亿），同时将模型的上下文长度从 2048 翻倍到了 4096，并引入分组查询注意力机制（grouped-query attention, GQA）技术，更好的权衡了最佳性能最佳性能(multi-query attention，MQA)和最佳模型质量(multi-head attention，MHA)之间的关系。 基于二代， ………………………………