开源大模型技术路线及趋势

文章预览

来源： 深度学习自然语言处理 1. 三个维度 大模型研发力量 学术机构 大模型创业公司 科技大厂 旗舰开源模型的形态/模态 基础大模型 -> instruct大模型 -> 多模态（VL大模型 -> 类gpt-4o大模型） 时间线 23年上半年 23年下半年 24年 25年 2. 核心观察 学术机构及创业公司式微，科技大厂主导开源大模型。 随着资源需求越来越大，学术机构由于资金不足而逐渐式微，基础大模型的开源主力，从百花齐放收敛到科技大厂，而前沿模型尤以llama及qwen为主。（比如，智源研究院不再发布新的基础大模型，上海AI实验室开源的大模型一直未能突破20B） 科技大厂，除meta（llama）和阿里（qwen）外，虽然谷歌、微软、苹果也加入开源赛道并愈加重视，但仍局限于30B以下的轻量模型。因此，前沿开源大模型，国外仍由llama引领（grok次之），国内由qwen引领（deepseek次之）。 大 ………………………………