干货 | 大模型LLM-微调经验分享&总结

文章预览

作者 | 刘聪NLP  编辑 | 极市平台 原文链接：https://zhuanlan.zhihu.com/p/620885226 点击下方 卡片 ，关注“ 自动驾驶之心 ”公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >> 点击进入→ 自动驾驶之心 『 大语言模型 』 技术交流群 本文只做学术分享，如有侵权，联系删文 导读   本文总结了作者在ChatGLM-6B模型微调的经验，并汇总了目前开源项目 & 数据。 写在前面 大型语言模型横行，之前非常焦虑，现在全面拥抱。目前也有很多开源项目进行大模型微调等，笔者也做了一阵子大模型了，特此来介绍一下ChatGLM-6B模型微调经验，并汇总了一下目前开源项目 & 数据。笔者与很多人微调结论不同，本人在采用单指令上进行模型微调，发现模型微调之后， 「并没有出现灾难性遗忘现象」 。 项目地址：https://github.com/liucongg/ChatGLM-Finetuning ChatGLM-6B模型微调 模型 ………………………………