大语言模型：综述 （中）

文章预览

23年6月人大和蒙特利尔大学的论文“A Survey of Large Language Models”。 继续介绍LLM的预训练和自适配。 预训练 预训练奠定了 LLM 能力的基础。通过在大规模语料库上进行预训练，LLM 可以获得基本的语言理解和生成技能 [55, 56]。在此过程中，预训练语料库的规模和质量对于 LLM 获得强大的能力至关重要。此外，为了有效地预训练 LLM，需要精心设计模型架构、加速方法和优化技术。 数据收集 相较于小规模语言模型，LLM 对模型预训练的高质量数据要求更高，其模型能力很大程度上依赖于预训练语料及其预处理方式。 要开发一个功能强大的 LLM，关键是要从各种数据源收集大量自然语言语料库。现有的 LLM 主要利用各种公共文本数据集作为预训练语料库。如图已经显示许多代表性 LLM 的预训练数据源分布。 收集大量文本数据后，对数据进行预处理对于构建预 ………………………………