文章预览
今天给大家带来知乎好友@ybq一篇关于如何进行领域模型训练的文章,主要内容是对 post-pretrain 阶段进行分析,后续的 Alignment 阶段就先不提了,注意好老生常谈的“数据质量”和“数据多样性”即可。 原文:https://zhuanlan.zhihu.com/p/711537210 Qwen2:https://arxiv.org/abs/2407.10671 MiniCPM:https://shengdinghu.notion.site/MiniCPM-c805a17c5c8046398914e47f0542095a Llama3.1:https://arxiv.org/abs/2407.21783 什么是领域模型? 领域模型为什么需要专门做 post-pretrain 训练,alignment 阶段不够吗? 简单来说,领域模型 / 专家模型 就是在某一个专业领域性能特别好的模型,可能包括法律、医学、教育、role-play 等等。一般来说,领域模型比较重要的环节是 RAG,我们需要有一个特别高精的检索库,来辅助模型做一些专业的回答。这也就是说,做好 sft 和 ppo 似乎就可以了? 其实,这么想也基本正确,因
………………………………