LLM Continue Pretrain（2024版）

文章预览

知乎：王焱 链接：https://zhuanlan.zhihu.com/p/707751901 点击原文链接访问原文， 如有侵权请联系删除 1 背景 去年，国内大模型赚钱最爽的一个方向，就是卖数据。我也跟一些卖数据团队咨询过，他们把国内各个你能想到的主流中文平台的数据都爬下来，打包卖了。国内的头部玩家，手头数据是一定不缺的，买就行了。同时，这些玩家显卡资源管够的情况下，肯定是会把能train的数据都train一轮。除非是预训练数据有大的更新，例如清洗的质量更高了，生成数据有大的突破。或者训练手段有大的迭代，重训大模型的价值是在不断降低的。但底座模型的通用能力，本身就是有上限的，它就是做不到所有都很强。我们想要把某个领域加强，别的领域就或多或少的会被影响。从2022年这篇OpenAI这篇论文开始，Training language models to follow instructions with human feedback。Alig ………………………………