为什么最近多模态大模型工作中用Q-Former结构的变少了？

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | PaperWeekly 作者 | 姚林丽@北京大学 研究方向 | 多模态理解 我们组最近的工作 DeCo: Decoupling Token Compression from Semantic Abstraction in Multimodal Large Language Models 比较深入地分析了 Q-former 结构的问题。 论文题目： DeCo: Decoupling Token Compression from Semantic Abstraction in Multimodal Large Language Models 论文链接： https://arxiv.org/abs/2405.20985 先说观点： 1. 训练资源足够的条件下，我们可以在多模态大语言模型中选择 Linear Projector/MLP，作为视觉-文本模态桥接器，即 LLaVA 的路线。Linear Projector 没有视觉信息损失、训练收敛快、表现 ………………………………