继续预训练 LLM ---数据筛选的思路

文章预览

【点击】 加入大模型技术交流群 原文：https://zhuanlan.zhihu.com/p/702649793 继续预训练 LLM 会导致遗忘原有的知识，为了避免这种灾难性遗忘，有一些简单的小技巧： 在训练语料中加入通用知识相关的语料。 模型筛选或早停，选择新旧知识的平衡点。 调整一些超参数，比如学习率。 这篇笔记记录了来自论文 Efficient Continual Pre-training for Building Domain Specific Large Language Models 的另一个小技巧——数据筛选。作者仅通过 10% 的数据，训练了个金融领域的 LLM，其相较于不筛选时，F1 提高了 3 个点。 总体思路 筛选数据时，有两种情况； 当有具体任务相关的数据，相当于有测试集，这时，可用 text embedding 模型向量化后，通过相似度筛选数据。该方法称为 Efficient Task-Similar Domain-adaptive Continual Pre-training（ETS-DACP）。 当没有任务相关的数据时，这时，可通过 困惑度（ ………………………………