ECCV 2024｜清华提出PYRA：超轻量级ViT适应&推理高效微调模块

文章预览

前言   一种针对视觉Transformer进行训练-推理高效任务适应设计的并行生成重激活方法。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源：CVer 仅用于学术分享，若侵权请联系删除 论文： https://arxiv.org/abs/2403.09192 最近，Transformer的规模迅速增长，这向基础模型的下游任务适应中引入了相当大的训练开销和推理效率方面的挑战。现有的工作，即参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）和模型压缩，分别研究了这两部分挑战。然而，PEFT不能保证原始骨干网络的推理效率，特别是对于大规模模型。模型压缩需要显著的训练成本进行结构搜索和重新训练。因此，它们的简单组合不能保证以最小的成本同时实现训练效率和推理效率。在本文中，我们提出了 ………………………………