5400 亿 token 专业法律数据！又双叒叕出现一个“法律大模型”

文章预览

7 月，法国高等教育计算中心、巴黎萨克雷大学联合发布了一个法律领域的垂直模型：SaulLM，包括 54B（540 亿）和 141B（1410 亿）两个参数，以及基础模型和指令微调两种版本。在此之前，更小参数的 SaulLM-7B（70 亿）于今年 3 月发布。 论文地址： https://arxiv.org/pdf/2407.19584 SaulLM-54B 和 SaulLM-141B 基于 Mixtral 系列模型开发而成，并通过引入专家混合（MoE）架构，来提升模型的能力。 MoE 架构的核心思想，是将大型模型分解为多个小型专家网络，根据输入的不同特点进行激活，不仅可以提高模型的计算效率，还可以增强模型处理复杂法律文本的能力。 同时，SaulLM 使用 5400 亿 token 的专业法律数据进行预训练和微调，涵盖来自 美国、欧洲、澳大利亚等 不同法律体系的法律文本，输出内容的准确率高于很多同类模型。 相比之下， 大多数基础模型都使用了一 ………………………………