LoRA（Low-Rank Adaptation）详解

文章预览

前言 随着最近大规模语言模型（Large Language Model，LLM）的出现，数十亿乃至千亿的参数量级成为了LLM的标配。如此参数量级的模型意味着传统的模型微调或者线性探测无法同时在训练效率和效果上同时满足开发者的要求。在之前我们介绍过PEFT（Parameter-Efficient Fine-Tuning）的重要的 提示学习 （Prompt Learning）和 适配器学习 （Adapter Learning）。提示学习的问题是模型的效果对提示的依赖非常严重，无论是离散提示还是连续提示，提示怎么有效的构造永远是提示学习的一个痛点。另外对于适配器学习来说，它们一般会向网络层中插入一些可学习的模块，同时这也带来了推理时间的增加。我们这里介绍一个近期训练LLM普遍使用的PEFT算法： LoRA （Low Rank Adaptation）[1]名思义，LoRA的核心思想是基于低秩的适配器进行优化。 1. 背景知识 1.1 什么是秩？ 那么什么是 ………………………………