专栏名称: AINLP
关注AI、NLP相关技术,关注算法研发职位和课程;回复"文章"获取历史信息;双语聊天机器人"无名";中英翻译请输入:翻译 翻译内容;自动对联,请输入:上联 上联内容;调戏夸夸聊天机器人,请求夸、求赞;查询相似词,请输入: 相似词 词条
今天看啥  ›  专栏  ›  AINLP

开源大模型技术路线及趋势

AINLP  · 公众号  · AI 科技自媒体  · 2024-09-26 17:30
    

主要观点总结

本文介绍了关于大模型研发力量、开源大模型的形态和趋势以及开源技术路线的相关内容。文章从三个维度(学术机构、大模型创业公司、科技大厂)对当下大模型的发展进行了概述,并分析了核心观察,包括开源大模型的主导力量以及大模型创业公司的现状。同时,文章详细阐述了不同时间段的技术发展关键词、痛点及机会点,从微调、汉化到基础模型和多模态的转变过程。最后提及了AINLP社区及其技术交流群的相关信息。

关键观点总结

关键观点1: 大模型发展概述与三个维度

文章从学术机构、大模型创业公司以及科技大厂三个维度介绍了大模型的发展情况。

关键观点2: 核心观察与开源大模型主导力量变化

文章指出开源大模型的主导力量正在从学术机构和创业公司转向科技大厂,特别是在资源需求巨大的情况下。

关键观点3: 开源技术路线的转变

文章详细描述了从通用模型的微调、汉化到基础模型,再到多模态的转变过程,以及不同时间段的关键词、痛点及机会点。

关键观点4: 未来预期与多模态大模型

文章预测未来顶尖模型的门槛将提升到更高的参数规模,并转向多模态大模型的应用。


文章预览

知乎:晴天 链接:https://zhuanlan.zhihu.com/p/721272352 1. 三个维度 大模型研发力量 学术机构 大模型创业公司 科技大厂 旗舰开源模型的形态/模态 基础大模型 -> instruct大模型 -> 多模态(VL大模型 -> 类gpt-4o大模型) 时间线 23年上半年 23年下半年 24年 25年 2. 核心观察 学术机构及创业公司式微,科技大厂主导开源大模型。 随着资源需求越来越大,学术机构由于资金不足而逐渐式微,基础大模型的开源主力,从百花齐放收敛到科技大厂,而前沿模型尤以llama及qwen为主。(比如,智源研究院不再发布新的基础大模型,上海AI实验室开源的大模型一直未能突破20B) 科技大厂,除meta(llama)和阿里(qwen)外,虽然谷歌、微软、苹果也加入开源赛道并愈加重视,但仍局限于30B以下的轻量模型。因此,前沿开源大模型,国外仍由llama引领(grok次之),国内由qwen引领(d ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览