文章预览
01 引言 7.23晚,Meta正式发布Llama 3.1,包含8B、70B 和405B三个规模,最大上下文提升到了128k。Llama系列模型是目前开源领域中用户最多、性能最强的大型模型系列之一。 官方公布的Benchmark显示, Llama3.1 405B已在多项基准测试中超越 GPT-4o和Claude 3.5 Sonnet,这是开源大模型首次赶超最强闭源模型! 本次Llama 3.1的要点有: 1.共有8B、70B及405B三种版本,其中405B版本是目前最大的开源模型之一; 2.该模型最大参数规模达到4050亿参数,在性能上超越了现有的顶级AI模型; 3.模型引入了更长的上下文窗口(最长可达128K tokens),能够处理更复杂的任务和对话; 4. 支持多语言输入和输出,增强了模型的通用性和适用范围; 5.提高了推理能力,特别是在解决复杂数学问题和即时生成内容方面表现突出。 02 模型评估 Llama 3.1版本在 150 多个涵盖多种语言的基准数据集
………………………………