专栏名称: CVer
一个专注侃侃计算机视觉方向的公众号。计算机视觉、图像处理、机器学习、深度学习、C/C++、Python、诗和远方等。
目录
今天看啥  ›  专栏  ›  CVer

超越LoRA!参数少80%!上交&上海AI Lab提出FLoRA:高效微调框架

CVer  · 公众号  ·  · 2024-07-06 23:59
    

文章预览

点击下方 卡片 ,关注“ CVer ”公众号 AI/CV重磅干货,第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信:CVer5555,小助手会拉你进群! 扫描下方二维码,加入CVer学术星球 ! 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料,及最前沿应用 !发论文/搞科研/涨薪,强烈推荐! Huiser 投稿 转载自:量子位(QbitAI) 为了让大模型在特定任务、场景下发挥更大作用, LoRA 这样能够平衡性能和算力资源的方法正在受到研究者们的青睐。 然而,以LoRA为代表的众多低秩微调方法 (包括DoRA, MoRA, AdaLoRA等衍生方法) 仍存在一个问题: 它们通常通常都更适合Linear层,Embedding层这类“直入直出”的低维度张量,忽略了对更高维度甚至N维张量的考虑。 尽管这些方法可以通过一定方式将高维度张量转化为2D张量来微调参数,如LoRA将Conv2D卷 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览