仅8B参数，可与GPT-4媲美，上交大团队构建多语言医学大模型

文章预览

将 ScienceAI   设为 星标 第一时间掌握 新鲜的 AI for Science 资讯 编辑 | 萝卜皮 开源、多语言医学语言模型的开发可使来自不同地区的广泛、语言多样化的受众受益。 为了推动这一领域的发展，上海交通大学的研究团队构建了一个多语言医学语料库，包含约 255 亿个 token，涵盖 6 种主要语言，称为 MMedC，可实现一般 LLM 的自回归领域自适应。 同时，为了监测多语言医学 LLM 的发展，研究人员还提出了一个具有合理性的多语言医学多项选择题答疑基准，称为 MMedBench。 并且，团队在基准上评估了许多开源大型语言模型（LLM），以及在 MMedC 上进一步进行自回归训练的模型。 他们的最终模型 MMed-Llama 3 仅有 8B 个参数，在 MMedBench 和英语基准上都比所有其他开源模型取得了优异的性能，甚至可以与 GPT-4 相媲美。 该研究以「 Towards building multilingual language model fo ………………………………