将 Vision Transformer 用于医学图像的语义分割

文章预览

点击下方 卡片 ，关注“ 小白玩转Python ”公众号 本文的重点是视觉Transformer（ViT）及其在语义分割问题上的实际应用。 我再次讨论了在MR图像上分割异常区域的任务。 我已经使用U-Net解决了这个任务，并在这里进行了讨论。 此外，我描述了在包含医学图像的自定义数据集上使用ViT进行图像分类任务的解决方案。 关于ViT的关键点如下： ViT架构基于将图像表示为一组补丁。图像补丁是图像的非重叠块。每个块最初都有一个由该块中的图像像素形成的嵌入向量。 Transformer编码器是ViT的主要部分，它根据它们的类别归属来训练补丁之间的相似度。它包含一系列线性、归一化和激活层。 在大型数据集（例如ImageNet21K）上预训练的ViT模型可以用于在自定义数据集上进行迁移学习，微调后的模型表现良好。 关于U-Net的关键点如下： U-Net由两部分组成：编码器和 ………………………………