大模型算法二次开发，基本思路详细拆解

文章预览

以下 文 章来源于微信公众号： 吃果冻不吐果冻皮 作者： StormBlafe 链接： https://mp.weixin.qq.com/s/nDOQQFJIQpBJv0Ckr0S8hA 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 随着众多大模型相继问世，大模型二次开发、大模型微调成为一项热门技术。本文为大家总结了大模型二次开发的基本方法与思路，希望对大家有所帮助。 开发方法分类 1、领域知识注入：Continue PreTraining(增量预训练),一般垂直大模型是基于通用大模型进行二次的开发，需要用领域内的语料进行继续预训练。 2、知识召回（激发）：SFT( Supervised Finetuning,有监督微调), 通过SFT可以激发大模型理解领域内的各种问题并进行回答的能力。 3、基础偏好对齐：奖励模型（RM）、强化学习（RL），可以让大模型的回答对齐人们的偏好，比如行文的风格。 4、高阶偏好对齐：RLHF(人类反馈强化 ………………………………