Index-1.9B：哔哩哔哩的大语言模型轻量级版本

文章预览

哔哩哔哩公司最近发布了Index系列中的一款新模型—— Index-1.9B 这款模型是一种轻量级的大语言模型，它包含多个版本，如基座模型、对照组、对话模型和角色扮演模型。 基座模型（Index-1.9B base） ：这是Index-1.9B系列的核心模型，具有19亿非词嵌入参数量。它在2.8T中英文为主的语料上进行了预训练，并在多个评测基准上与同级别模型相比表现领先1。 对照组（Index-1.9B pure） ：与基座模型相同，但对照组通过严格过滤语料中所有指令相关的数据来验证指令对评测基准的影响。 对话模型（Index-1.9B chat） ：基于基座模型，通过自然语言处理技术SFT和DPO对齐后，该模型在聊天场景中展现出较高的趣味性和定制性2。 角色扮演模型（Index-1.9B character） ：结合了SFT、DPO和RAG技术，该模型能够在少量示例下实现角色扮演定制，适用于多种场景，包括对话生成和角 ………………………………