大模型面经——LoRA最全总结

文章预览

技术总结专栏 作者：喜欢卷卷的瓦力 LoRA面经搜集总结。 大家的显卡都比较吃紧，LoRA家族越来越壮大，基于基于LoRA出现了各种各样的改进，最近比较火的一个改进版是dora，听大家反馈口碑也不错。 基于PEFT的话用4090 24G显存也可以进行大模型的微调，所以LoRA家族这块还是很有研究和实际落地的潜力。 LoRA整个系列分为两个部分： 1、LoRA总述 2、LoRA家族演进 本篇开始介绍第一部分：LoRA总述，尽量以面经问题的形式提出并解答，下面是一个快捷目录。 一、概念 1. 简单介绍一下LoRA 2. LoRA的思路 3. LoRA的特点 4. LoRA的优点 5. LoRA的缺点 二、训练理论 1. LoRA权重是否可以合入原模型？ 2. ChatGLM-6B LoRA后的权重多大？  3. LoRA微调方法为啥能加速训练？  4. 如何在已有LoRA模型上继续训练？ 5. LoRA这种微调方法和全参数比起来有什么劣势吗？ 6. LORA应该作用于Transf ………………………………