Nature | 李瑞江/杨森团队开发用于精准肿瘤学的视觉语言基础模型—MUSK

文章预览

临床决策是一个本质上依赖于多模态数据的过程。在诊断和治疗决策中，临床医生很少依赖单一数据来源，而是综合了包括临床记录和病理特征在内的多种数据模态的信息。因此，开发新的人工智能方法来有效整合多模态数据，进而推动临床肿瘤治疗的进步具有重要意义。然而，现实中缺乏精细标注的多模态数据集，阻碍了此类人工智能模型的发展。 近年来，医学领域，特别是病理学领域，已经开始探索视觉语言基础模型，其中重要的工作包括PLIP 【1】 ，CONCH 【2】 。但这些研究仍存在不足之处：首先，这些研究使用配对的病理图像-文本数据进行预训练 （约20万至100万对） ，但这一数据规模仍远低于自然场景的视觉语言模型。其次，这些研究主要关注图像-文本检索，零样本分类等初级任务，主要验证不同模态之间相似性。且这些应用局限于癌症 ………………………………