浙大、蚂蚁等提出TokenPacker，多模态大模型中的高质量视觉token压缩方法

主要观点总结

本文介绍了一种针对多模态大模型的视觉映射器（Visual Projector）的新方法——TokenPacker。该方法旨在实现高质量压缩视觉token数量且性能表现优异。文章详细描述了TokenPacker的设计原理、实现细节和实验结果。

关键观点总结

关键观点1: 研究背景

多模态大模型的研究更新迅速，开源模型性能逐渐接近闭源模型。针对多模态大模型中的视觉映射器展开研究，探索更有效的结构形式来实现视觉token的压缩，提高模型效率。

关键观点2: 视觉映射器现状

目前视觉映射器主要有几种形式，如Resampler、基于卷积的视觉映射器和维度变换等。这些方法在减少视觉token数量方面取得了一定的成果，但或多或少存在性能下降的问题。

关键观点3: TokenPacker方法介绍

TokenPacker采用coarse-to-fine的核心思想，通过下采样视觉特征并注入丰富的视觉特征信息，产生高质量的浓缩视觉token表示。该方法可以实现较少的视觉token数量，同时尽量表达出图像丰富的视觉信息。

关键观点4: 实验验证

实验部分验证了TokenPacker在多种分辨率下的性能表现。在大部分benchmark下，TokenPacker领先现有的方法。此外，还提供了动态划分策略来支持大分辨率输入图像的高效处理。

关键观点5: 总结

本文提出了一种有效的视觉映射器方法TokenPacker，实现了高质量压缩视觉token数量，提高了多模态大模型的效率。通过实验验证了该方法在多种场景下的性能优势。

文章预览

©PaperWeekly 原创 · 作者 |  李文通 单位 |  浙江大学 研究方向 |  多模态、场景理解 引言 最近，多模态大模型（Multimodal LLM, MLLM）/（Large Multimodal Model, LMM）的研究更新速度令人目不暇接，开源模型逐渐朝着逼近与 GPT-4V/o 等闭源模型的性能前进。本工作针对多模态大模型中一个重要的模块-视觉映射器（Visual Projector）展开了探索与研究，提供了一个可以高质量压缩视觉 token 数量且性能表现优异的一种方法。 下面进行展开具体介绍。 典型的多模态大模型，采用线性映射 MLP 作为视觉映射器，其能够实现将视觉特征到 token 一对一地映射到文本空间, 从而有效地接入 LLM 中。然而，有没有更合适、更有效的结构形式来实现，是一个值得研究的问题。 其次，视觉 token 的个数对于多模态大模型效率起着重要作用，特别是大分辨率输入图像或视频场景，视觉 t ………………………………