LORS：腾讯提出低秩残差结构，瘦身模型不掉点 | CVPR 2024

文章预览

深度学习模型通常堆叠大量结构和功能相同的结构，虽然有效，但会导致参数数量大幅增加，给实际应用带来了挑战。为了缓解这个问题， LORS （低秩残差结构）允许堆叠模块共享大部分参数，每个模块仅需要少量的唯一参数即可匹配甚至超过全量参数的性能。实验结果表明， LORS 减少解码器 70% 的参数后仍可达到与原始模型相当甚至更好的性能 来源：晓飞的算法工程笔记 公众号 论文: LORS: Low-rank Residual Structure for Parameter-Efficient Network Stacking 论文地址：https://arxiv.org/abs/2403.04303 Introduction   在当前大模型繁荣的时代，一个普遍的问题是参数量大幅增加，这给训练、推理和部署带来了挑战。目前有各种方法来减少模型中的参数数量，例如知识蒸馏，将大型模型压缩为较小的模型，同时试图保持其性能，但仍可能导致模型容量的下降；剪枝，从模型中 ………………………………