为什么最近多模态大模型工作中用Q-Former结构的变少了？

文章预览

最近的工作  DeCo: Decoupling Token Compression from Semantic Abstraction in Multimodal Large Language Models  比较深入地分析了 Q-former 结构的问题。 论文链接： https://arxiv.org/abs/2405.20985 先说观点： 1. 训练资源足够的条件下，我们可以在多模态大语言模型中选择 Linear Projector/MLP，作为视觉-文本模态桥接器，即 LLaVA 的路线。Linear Projector 没有视觉信息损失、训练收敛快、表现也好。唯一的问题是会导致图片 token 序列很长，这在 GPU 等训练资源足够的情况下，是可以克服的。 2. 我们想重点表达的是， 训练资源有限的情况下（有限的 GPU、训练数据等），Q-former 也只是一个“低效”压缩器。如果想减少图片 token 数量来降低训练代价，简单的 AdaptiveAveragePooling 就够了。 我们的 DeCo 工作发现在减少图片 token 这个目标上，简单的 average pooling 表现就比 Q-former 更好、训练收敛也 ………………………………