大模型的开源与闭源，敢问路在何方 | 同言

文章预览

全文长约  4500   字， 阅读大约需要  15   分钟 01 Llama 3：闭源模型的有力竞争者 4月18日，Meta 推出了 Llama 3 1 系列开源大模型，发布了参数量 2 为 80亿（8B）和 700亿（70B）的两个版本，并将4,000亿参数以上的版本提上了日程。相比上一个版本 Llama 2，Llama 3 扩展了模型“词典”，引入了分组查询注意力技术，并扩大了模型训练数据量，从而显著提升了模型编码语言和处理长文本、进行逻辑推理的能力。 从模型能力上看，仅仅 700 亿参数版本的 Llama 3 在各项指标上就已经能和目前最领先的闭源模型 Google Gemini 1.5 Pro  3 、Claude 3   4 相抗衡，即使对敌 GPT-4 5 ，在各项基准指标上比较也已经非常接近。况且，用于测试的 Llama 3 还未进行微调，后续仍有很大的提升空间。 图 1：截至 2024 年 5 月 19 日，LLM Arena Leaderboard 6 （浅红色底色为开源模型） 02 开源： ………………………………