专用于法律的两个开源大模型，最高1410亿参数

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 法国国家高等教育计算中心、巴黎萨克雷大学的研究人员联合开源了专用于法律领域的大模型——SaulLM。 SaulLM一共有540亿、1410亿两种参数，以及基础模型和指令微调两种版本。SaulLM的最大特色是使用了5400亿token的专业法律数据进行了预训练，包括美国、欧洲、澳大利亚等地的法律文本，输出内容的准确率高于很多同类模型。 开源地址：https://huggingface.co/Equall/SaulLM-54-Base 指令微调：https://huggingface.co/Equall/SaulLM-141B-Instruct SaulLM-54B和SaulLM-141B是基于Mixtral系列模型开发而成，通过引入专家混合（MoE）机制，显著提升了模型处理大量数据的能力。 MoE架构的核心思想是将大型模型分解为多个小型专家网络 ………………………………