Index-1.9B: 小巧精炼的B站大模型

文章预览

前言 今天，B站大模型团队发布了Index-1.9B系列模型，是Index大语言模型系列中的19亿参数规模的模型，如下所示 Index-1.9B base : 基座模型，具有 19亿 非词嵌入参数量，在2.8T 中英文为主的语料上预训练，多个评测基准上与同级别模型比处于领先. Index-1.9B pure : 基座模型的对照组，与base具有相同的参数和训练策略，不同之处在于严格过滤了该版本语料中所有指令相关的数据，以此来验证指令对benchmark的影响. Index-1.9B chat : 基于index-1.9B base通过SFT和DPO对齐后的对话模型。 Index-1.9B character : 在SFT和DPO的基础上引入了RAG来实现fewshots角色扮演定制。 技术报告 B站大模型团队在github中发布了Index-1.9B的技术报告，以下是针对技术报告中内容的总结。 语料 量级：2.8T的中英混合语料（4:5），代码占比6%。 语料清洗和常见的清洗策略大同小异，值得注意的是报告中提到 ………………………………