【深度学习】21.5万张X光，78万个问题！首个大规模医学多模态数据集Medical-CXR-VQA发布

文章预览

转自：新智元 多模态大语言模型 (Multimodal Large Language Moodel, MLLM) 以其强大的语言理解能力和生成能力，在各个领域取得了巨大成功。 在医学领域上，视觉问答 (VQA) 是医学多模态大语言模型的一项重要任务，它可以通过回答针对医学图像的具体临床问题，有效提高医疗专业人员的效率。这一类工作可以减轻公共卫生系统的负担，对于医疗资源贫乏的国家来说尤其重要。 然而，现有的医学 VQA 数据集规模较小，仅包含相当于分类任务的简单问题，缺乏语义推理和临床知识。 如图1所示，现有的ImageCLF VQA-MED数据集仅包含「这张图像里主要异常是什么？」和「这张图片里看到了什么？」这两种完全相当于分类任务的问题。 较小的数量以及过于简单的问题使得大语言模型很难在现有数据集上训练以及微调。 图1 新数据集与现有的数据集ImageCLF VQA-MED的问题 ………………………………