阿里开源多语言大模型，支持全球90%人口

主要观点总结

文章介绍了阿里巴巴开源的多语言大模型Babel，该模型支持25种主流语言，覆盖全球90%以上人口。Babel采用独特的层扩展技术提升性能，通过两阶段预训练策略恢复并提升模型的多语言能力，尤其在低资源语言上表现突出。在多个主流基准测试中，Babel-9B取得了显著成绩，显示出强大的多语言推理、理解和翻译能力。

关键观点总结

关键观点1: 多语言大模型Babel的特点和贡献

Babel支持25种主流语言，覆盖全球90%以上人口；采用层扩展技术提升性能；通过两阶段预训练策略恢复并提升模型的多语言能力。

关键观点2: Babel的层扩展技术

Babel通过插入额外的层来增加参数数量从而提升模型性能；在模型中插入新层的位置和初始化方法经过精心设计和实验；实验结果显示，直接复制原始参数而不引入噪声的方法在性能上表现最佳。

关键观点3: Babel的两阶段预训练策略

第一阶段是恢复阶段，使用大规模多样化语料库进行训练，帮助模型重新学习不同语言之间的关系，并恢复其在原始模型基础上的性能；第二阶段是持续训练阶段，重点提升模型的多语言能力，特别是在低资源语言上。

关键观点4: Babel的性能评估

研究人员在多个主流基准测试中对Babel进行了评估，结果显示Babel-9B在所有基准测试中的平均得分为63.4，超过了其他竞争对手，显示出强大的多语言推理、理解和翻译能力。

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 现有的大模型大多集中在资源丰富的语言上，例如，英语、法语、阿拉伯语等，而像印地语、孟加拉语和乌尔都语这样使用人数众多，但资源匮乏的语言却鲜有关注。 所以，阿里巴巴开源了多语言大模型Babel，支持豪萨语、波斯语、印地语、西班牙语、阿拉伯语、孟加拉语、葡萄牙语、乌尔都语、印尼语、斯瓦希里语等25种主流语言，覆盖全球90%以上的人口。 开源地址：https://github.com/babel-llm/babel-llm 笑脸：https://huggingface.co/Tower-Babel Babel一共提供了9B和83B两个版本，9B专为高效的多语言大模型推理和微调设计，适合研究和本地部署；而83B性能更好，但消耗的资源也更多。 Babel的创新之一是其独特的 ………………………………