SAM Conv Adapter开源啦 | 一种内存高效的并行卷积 Adapter 架构

文章预览

前言   自图像分割的基础模型Segment Anything（SAM）自其提出以来，在各个领域 得到了积极的研究。 已提出各种研究方法将SAM适应于特定领域，其中一种显著的方法涉及添加和训练轻量级 Adapter 模块。 虽然基于 Adapter 的微调方法已报告参数效率和显著的性能改进，但它们面临一个常常被忽视的问题： 相对于可训练参数的数量，GPU内存的消耗过高。 为解决这个问题，本文提出了 一种内存高效的并行卷积 Adapter 架构 。 这种架构并行连接SAM的图像编码器， 在模型训练过程中无需存储图像编码器的激活和梯度 。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 1 简介 在2023年，一个名为Segment Anything（SAM）的图像分割基础模型被提出。由于SAM是基于大规模分割数 ………………………………