大模型LLM-微调经验分享 & 总结

文章预览

↑ 点击 蓝字  关注极市平台 作者丨刘聪NLP@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/620885226 编辑丨极市平台 极市导读   本文总结了作者在ChatGLM-6B模型微调的经验，并汇总了目前开源项目 & 数据。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 写在前面 大型语言模型横行，之前非常焦虑，现在全面拥抱。目前也有很多开源项目进行大模型微调等，笔者也做了一阵子大模型了，特此来介绍一下ChatGLM-6B模型微调经验，并汇总了一下目前开源项目 & 数据。笔者与很多人微调结论不同，本人在采用单指令上进行模型微调，发现模型微调之后， 「并没有出现灾难性遗忘现象」 。 项目地址：https://github.com/liucongg/ChatGLM-Finetuning ChatGLM-6B模型微调 模型越大对显卡的要求越高，目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法 ………………………………