HLO:通过 Hadamard 低秩量化快速高效地反向传播，解决了大型多模态模型在理解长视频时所面临的调整！

文章预览

前言   随着模型规模的迅速增加以及各种微调应用的重要性日益增加，轻量级训练变得至关重要。由于 反向传播的代价是前向传播的两倍 ，因此优化反向传播尤为重要。 然而，对此过程的修改可能导致次优的收敛，因此训练优化应尽量减少扰动，这是一项极具挑战性的任务。在本文研究中，作者引入了一种 新的优化策略 ，称为哈达玛低秩量化（HLQ），重点关注降低卷积层和线性层中反向传播的成本。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 1 Introduction 到目前为止，大多数模型优化的努力都集中在降低推理成本上，而对模型训练成本的重视较少，因为这些成本只需承担一次。虽然优化重复使用的推理过程至关重要，但由于训练优化必须满足更具 ………………………………