浅谈-领域模型训练

文章预览

大模型智能｜分享 来源 | ybq@知乎 今天给大家带来知乎好友@一篇关于如何进行领域模型训练的文章，主要内容是对 post-pretrain 阶段进行分析，后续的 Alignment 阶段就先不提了，注意好老生常谈的“数据质量”和“数据多样性”即可。 原文：https://zhuanlan.zhihu.com/p/711537210 Qwen2：https://arxiv.org/abs/2407.10671 MiniCPM：https://shengdinghu.notion.site/MiniCPM-c805a17c5c8046398914e47f0542095a Llama3.1：https://arxiv.org/abs/2407.21783 什么是领域模型？ 领域模型为什么需要专门做 post-pretrain 训练，alignment 阶段不够吗？ 简单来说，领域模型 / 专家模型 就是在某一个专业领域性能特别好的模型，可能包括法律、医学、教育、role-play 等等。一般来说，领域模型比较重要的环节是 RAG，我们需要有一个特别高精的检索库，来辅助模型做一些专业的回答。这也就是说，做好 sft 和 ppo 似乎就可以了 ………………………………