LLM预训练与SFT数据配比调研

文章预览

原文：https://zhuanlan.zhihu.com/p/703825827 背景与目标 最终目标是在  LLAMA3  模型的基础上进行继续训练与 SFT，但  LLAMA3  的数据与配比方案并未公开，因此期望从其他方案中获得配比的思路，从而确保预训练与 SFT 不会严重影响原本的模型效果。 当前一种潜在的不伤害原模型的方法是，直接继续训练/SFT，随后通过  参数合并Merge  来保留原始效果。 首先需要调研现有的方案，思路为： 公开的预训练数据配比 公开的 SFT 配比方案 探测 LLAMA3 配比的潜在方法 更新日期：2024.07.29 前文 ：天晴：论文解读：如何自动选择 SFT 数据 后文 ：天晴：多模态数据混比工作调研 https://zhuanlan.zhihu.com/p/690779419 https://zhuanlan.zhihu.com/p/713670161 LLAMA 和 Qwen 技术报告 最新的Qwen2和LLAMA3.1终于是公布了很多数据细节，当然也包括数据配比问题。 Qwen2 预训练数据增强 Qwen2 的预训练 ………………………………