专栏名称: AINLP
关注AI、NLP相关技术,关注算法研发职位和课程;回复"文章"获取历史信息;双语聊天机器人"无名";中英翻译请输入:翻译 翻译内容;自动对联,请输入:上联 上联内容;调戏夸夸聊天机器人,请求夸、求赞;查询相似词,请输入: 相似词 词条
今天看啥  ›  专栏  ›  AINLP

Llama 3.1 震撼开源,大模型微调我已经上手了!

AINLP  · 公众号  ·  · 2024-08-12 10:10

文章预览

上月 ,Meta宣布推出迄今为止最强大的开源模型—— Llama 3.1 405B ,同时发布了全新升级的Llama 3.1 70B和8B模型。 最近出现了一系列令人激动的开源大语言模型,伴随大模型一起爆火的,还有大模型的微调方法。然而随着模型规模和任务数量的增加,对整个Transformer模型进行微调也变得越来越昂贵。因此, 很多 参数高效微调方法(Parameter-Efficient Fine-Tuning,PEFT) 方法被提出来解决这类问题。 免费扫描参与课程(附 老师ppt原稿 & 100+大模型论文 ) 领99个 大模型微调模型/数据/工具 (文末有福利) 导师推荐100+大模型论文合集 我们邀请了清华大学博士,AI顶会审稿人青山老师为大家带来—— 惊艳的大模型高效参数微调法! 来和大家聊一聊有关大模型微调的方法、未来趋势及创新点! 免费扫描参与课程(附 老师ppt原稿 & 100+大模型论文 ) 领99个 大模型 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览