多语言大模型新SOTA！Cohere最新开源Aya-23：支持23种语言，8B/35B可选

文章预览

   新智元报道   编辑：LRS 【新智元导读】 Aya23在模型性能和语言种类覆盖度上达到了平衡，其中最大的35B参数量模型在所有评估任务和涵盖的语言中取得了最好成绩。 虽然LLM在过去几年中蓬勃发展，但该领域的大部分工作都是以英语为中心的，也就是说，虽然模型的能力很强，但也仅限于英语、汉语等使用人数多的语言，在处理资源匮乏的语言时往往性能不佳。 想要破局多语言，两个关键在于强大的多语言预训练模型以及足量的、涵盖多种语言的指令训练数据。 为了解决上述问题，最近，加拿大的独角兽AI公司Cohere开源了两种尺寸（8B和35B）的多语言模型Aya23，其中Aya-23-35B在所有评估任务和涵盖的语言中取得了最好成绩。 论文链接： https://cohere.com/research/papers/aya-command-23-8b-and-35b-technical-report-2024-05-23 Aya-23-8B: https://huggingface.co/CohereForAI/aya-23-8B ………………………………