InternLM系列模型

文章预览

InternLM系列模型的参与方有上海AI实验室、商汤、香港中文大学，以及复旦和上交。主力应该是前两个，InternLM中的Intern这个名字也是继承自它们之前的视觉模型项目的名字。 最近InternLM2.5发布，在HuggingFace的大模型榜单上有不错的成绩，因此梳理一下InternLM相关的资料，学习一下。 1.InternLM一代 首先是最早发布的一代模型。 InternLM第一代是2023年6月发布的，时间比较早，技术报告中透露的内容也不多，把关键信息简单整理一下： 104B参数的模型 1.6T的多语言数据，以英语为主，部分中文，少量其他语言 窗口长度为2k 使用多阶段的预训练策略，在每个阶段分别进行lr退火；不同的阶段在数据比例上有所不同；使用多阶段的训练策略好处是方便调整效果，并且如果需要回退不用全部重新训练 对齐阶段包括SFT和RLHF；5M条SFT数据，部分来自self-instruct 效果上， ………………………………