超越LoRA！参数少80%！上交&上海AI Lab提出FLoRA：高效微调框架

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信：CVer5555，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ Huiser 投稿 转载自：量子位（QbitAI） 为了让大模型在特定任务、场景下发挥更大作用， LoRA 这样能够平衡性能和算力资源的方法正在受到研究者们的青睐。 然而，以LoRA为代表的众多低秩微调方法 （包括DoRA， MoRA， AdaLoRA等衍生方法） 仍存在一个问题： 它们通常通常都更适合Linear层，Embedding层这类“直入直出”的低维度张量，忽略了对更高维度甚至N维张量的考虑。 尽管这些方法可以通过一定方式将高维度张量转化为2D张量来微调参数，如LoRA将Conv2D卷 ………………………………