Nat. Comput. Sci. | 利用基础多任务模型克服生物医学影像数据稀缺问题

文章预览

DRUG AI 今天为大家介绍的是来自Fabian Kiessling团队的一篇论文。基础模型在大规模预训练后，在非医学领域展示了显著成功。然而，训练这些模型通常需要大规模、综合的数据集，这与生物医学影像领域中常见的小型且专门的数据集形成对比。作者提出了一种多任务学习策略，该策略将训练任务的数量与内存需求分离。作者在一个包含断层成像、显微镜图像和X光图像的多任务数据库上训练了一个通用的生物医学预训练模型（UMedPT），采用了分类、分割和目标检测等多种标注策略。UMedPT基础模型的表现优于ImageNet预训练和之前的最先进模型。在与预训练数据库相关的分类任务中，它在仅使用1%的原始训练数据且不进行微调的情况下保持了其性能。而在域外任务中，它仅需要50%的原始训练数据。在外部独立验证中，使用UMedPT提取的影像特征证明在跨中心 ………………………………