专栏名称: AIGC开放社区
专注AIGC(生成式人工智能)领域的专业社区,关注GPT-4、百度文心一言、华为盘古等大语言模型(LLM)的发展应用和落地,以及国内LLM的发展和市场研究,社区秉承共建、共享、开放的理念,提供对社区会员有价值的商业化思路和服务。
今天看啥  ›  专栏  ›  AIGC开放社区

重磅!首个超GPT-4o开源大模型,最强Llama 3.1正式发布

AIGC开放社区  · 公众号  ·  · 2024-07-24 09:31

文章预览

专注AIGC领域的专业社区,关注微软 、百度文心一言、讯飞星火等大语言模型(LLM)的发展和 应用 落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注! Meta正式发布目前最强开源大模型之一Llama 3.1系列,一共有405B、70B、8B三种模型。 其中405B更是期待已久的重磅开源模型,经过15万亿tokens高质量数据以及超过1.6万块H100进行了几个月的预训练,支持128K上下文长度,英语、法语、德语等8种语言,能生成代码、文本、文本摘要等。 根据Llama 3.1的技术论文, 405B是具备文本、图像、视频和音频多模态推理能力的,但本次没有开放还在继续开发中 。 值得一提的是,Meta已经更改了开源许可证,允许开发者使用Llama 3.1系列模型的输出去优化其他模型, 也就是说可以使用最强的405B进行模型蒸馏啦,这对于打造参数小、性能强的模型非常有帮助 。 图灵奖获得 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览