参数少80%，效果仍超LoRA！上交大&上海AI Lab推出高效微调框架FLoRA

文章预览

Huiser 投稿 量子位 | 公众号 QbitAI 为了让大模型在特定任务、场景下发挥更大作用， LoRA 这样能够平衡性能和算力资源的方法正在受到研究者们的青睐。 然而，以LoRA为代表的众多低秩微调方法 （包括DoRA， MoRA， AdaLoRA等衍生方法） 仍存在一个问题： 它们通常通常都更适合Linear层，Embedding层这类“直入直出”的低维度张量，忽略了对更高维度甚至N维张量的考虑。 尽管这些方法可以通过一定方式将高维度张量转化为2D张量来微调参数，如LoRA将Conv2D卷积层参数所具有的四维张量 转化为二维张量 。但其存在两方面的挑战： 这种将卷积核 拆开分别reshape到 ， 维度上的方法虽然避免了参数的大规模增加，但是破坏了卷积核本身的结构特性。这对于密集预测类任务所需要的局部归纳偏置是一种负向影响。 随着张量维度的升高，reshape为二维的方式会造成急剧 ………………………………