Unet 与 TransUnet 架构结合，模型保持CNN的局部特征，利用 Transformer 进行图像分割！

文章预览

核分割在组织病理学图像分析中尽管扮演着基础性角色，但仍然是一项具有挑战性的工作。这项任务的主要挑战在于存在重叠区域，这使得分离独立的核更加复杂。 在本文中，作者提出了一种新的双分支架构，通过结合Unet和TransUnet网络来进行核分割任务。 所提出的架构名为Trans2Unet，输入图像首先被送入Unet分支，该分支去除了最后的卷积层。这个分支使网络能够结合输入图像不同空间区域的特征，并更精确地定位感兴趣区域。输入图像同时也被送入第二个分支。在第二个分支，即TransUnet分支中，输入图像将被划分为图像块。 借助架构中的视觉 Transformer （VIT），TransUnet可以作为一个强大的编码器用于医学图像分割任务，并通过恢复局部空间信息来增强图像细节。为了提升Trans2Unet的效率和性能，作者提出将TransUnet与一种计算效率更高的变体相结合 ………………………………