NeurIPS 2024｜VLoRA：一种参数空间对齐的多模态大模型范式

文章预览

↑ 点击 蓝字  关注极市平台 作者丨CVer粉丝投稿 来源丨CVer 编辑丨极市平台 极市导读   本文提出了一种参数空间对齐的多模态大模型范式，该范式将输入图像特征转换成LoRA权重并合并到LLM中，使LLM感知图像视觉信息。该范式避免了在LLM的输入序列中引入视觉标记，在训练和推理上都非常高效。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 主页： https://feipengma6.github.io/vlora/ 论文： https://arxiv.org/pdf/2405.20339 代码： github.com/FeipengMa6/VLoRA 1. 输入空间对齐范式 1.1 介绍 在进入正题之前，我们先简单回顾一下当前主流的MLLM范式。 以最具代表性的LLaVA[1]为例， Figure 1. LLaVA的结构框图 对于输入的图像 ，通过视觉编码器（Vision Encoder）和 映射模块（Projection）提取特征，得到一个由视觉标记（Visual Tokens）组成的视觉序列，然后将视觉序列和文本在序 ………………………………