大模型参数-高效微调方法的指导

文章预览

23年3月来自美国麻省大学Lowell分校的论文“Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning“。 对2019年2月至2023年2月期间发表的参数-高效微调方面40多篇论文的方法系统概述和比较。这些方法旨在仅训练一小部分参数来重新解决原来不可操作和不切实际的大语言模型微调工作。该文提供一个涵盖广泛方法的分类法，并提出详细的方法比较，特别关注真事情况中的效率和数十亿规模的语言模型微调。 参数高效微调（PEFT）方法可以通过多种方式进行分类。可以通过其基础应用或概念框架来区分：是向模型引入新参数，还是微调现有参数的一小部分？或者，可以根据其主要目标进行分类：该方法的目的是最小化内存占用还是仅提高存储效率？如图描述了这种分类法和 30 种 PEFT 方法：给出三类定义，即基于添加（A）、基于选择（S）和基于重参数化 ………………………………