BIMEDIX2：基于多模态双语大模型生物医学专家 - 阿联酋MBZUAI&瑞典林雪平大学等

文章预览

摘要 本文介绍了BiMediX2，一种采用统一架构的双语（阿拉伯语-英语）生物医学专家大型多模态模型（LMM），该架构整合了文本和视觉模态，以实现先进的图像理解和医学应用。BiMediX2利用Llama3.1架构，并整合了文本和视觉功能，以促进英语和阿阿拉伯语之间的无缝互动，支持基于文本的输入和涉及医学图像的多轮对话。该模型在包含160万份多样化医疗互动样本的广泛双语医疗保健数据集上进行训练，这些样本涵盖文本和图像模态，混合使用阿拉伯语和英语。 我们还提出了首个基于双语GPT-4o的医疗LMM基准测试，名为BiMed-MBench。BiMediX2在基于文本和图像的任务上进行了基准测试，并在多个医学基准测试中取得了最先进水平的性能。它在医学LLM评估基准测试中优于最近的最先进模型。 我们的模型在多模态医学评估中树立了新的基准，英语评估提升了超过9 ………………………………