ECCV'24 | SLS：整层剪掉！基于降维特征聚类的PETL模型剪枝新方法

文章预览

来源：晓飞的算法工程笔记 公众号，转载请注明出处 论文: Straightforward Layer-wise Pruning for More Efficient Visual Adaptation 论文地址：https://arxiv.org/abs/2407.14330 论文代码：https://github.com/RuiZiHan/SLS 创新点 提出了一种针对 PETL 模型的剪枝方法 SLS （ Straightforward Layer-wiSe Pruning method ），证明在下游数据集与预训练数据集之间存在显著差距时， PETL 转移后的模型中存在大量冗余参数。 提出了一种直观的特征级分析方法，为评估结构剪枝参数的重要性提供了一种新的视角。 SLS 在 VTAB-1k 基准测试中，使用相同的剪枝参数数量，以简单的策略在模型存储、准确性和速度上超越了当前主流的结构剪枝方法 DepGraph 。 内容概述 参数高效迁移学习（ PETL ）旨在使用有限的参数调整大型预训练模型。虽然大多数 PETL 方法在训练过程中仅更新添加或选择的参数并冻结预训练权重 ………………………………