文章预览
简介 大家好，今天我们很高兴首次发布 Index 系列模型中的轻量版本：Index-1.9B 系列。 体验地址: https://hf.co/spaces/IndexTeam/Index-1.9B 本次开源的 Index-1.9B 系列包含以下模型: Index-1.9B base : 基座模型，具有 19 亿 非词嵌入参数量，在2.8T 中英文为主的语料上预训练，多个评测基准上与同级别模型比处于领先。 Index-1.9B pure : 基座模型的对照组，与 base 具有相同的参数和训练策略，不同之处在于我们严格过滤了该版本语料中所有指令相关的数据，以此来验证指令对 benchmark 的影响 (详见 2.3 章节)。 Index-1.9B chat : 基于 index-1.9B base 通过 SFT 和 DPO 对齐后的对话模型，我们发现由于预训练中引入了较多定向清洗对话类语料，聊天的 趣味性 明显更强。 Index-1.9B character : 在SFT 和 DPO 的基础上引入了 RAG 来实现 fewshots角色扮演定制 目前，我们已在 GitHub ( https://github
………………………………
