ICML 2024 | 南开大学提出反向传播全新改进策略，不降速、大幅提升显存效率

文章预览

前言   最近，由南开大学统计与数据科学学院徐君老师团队发表在 ICML 2024 上的论文《Reducing Fine-Tuning Memory Overhead by Approximate and Memory-Sharing Backpropagation》提出通过更改反向传播（BP）过程，在不增加计算量的情况下，显著减少峰值激活显存占用。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 作者 ：杨雨辰 来源：PaperWeekly 单位 ：南开大学硕士生 仅用于学术分享，若侵权 请联系删除 论文标题： Reducing Fine-Tuning Memory Overhead by Approximate and Memory-Sharing Backpropagation 论文地址： https://arxiv.org/abs/2406.16282 代码地址： https://github.com/yyyyychen/LowMemoryBP 文章提出了两种反向传播改进策略，分别是 Approximate Backpropagation（Approx-BP）和 Memory-Sharing Backpropagation（MS-BP）。Approx ………………………………