2B 最强多模态大模型——Mini-Monkey！

主要观点总结

本篇分享论文Mini-Monkey: Multi-Scale Adaptive Cropping for Multimodal Large Language Models，介绍了华科大提出的2B最强多模态大模型Mini-Monkey。该模型采用多尺度自适应裁剪策略（MSAC）和尺度压缩机制（SCM），解决了现有多模态大型语言模型在处理高分辨率图像时因切分策略导致的语义丢失问题，在多个基准测试中取得优异性能。

关键观点总结

关键观点1: 研究背景与动机

随着自然语言处理（NLP）领域的飞速发展，大型语言模型（LLMs）已成为研究的热点。然而，现有多模态大型语言模型在处理高分辨率图像时存在语义丢失问题，尤其在文档理解任务中表现明显。

关键观点2: Mini-Monkey模型的特点

Mini-Monkey模型采用多尺度自适应裁剪策略（MSAC）和尺度压缩机制（SCM），有效避免了因裁剪导致的信息丢失，提高了模型对细节场景的理解能力。

关键观点3: MSAC与SCM的作用

MSAC允许在不同尺度上捕捉图像特征，避免了切分导致的语义丢失；SCM则通过智能压缩，确保模型在处理大量视觉数据时的效率。

关键观点4: 实验结果与性能

Mini-Monkey在11个通用多模态理解基准测试中超越了其他2B参数模型，并在多个与文本相关的基准测试中取得优异成绩。消融实验验证了MSAC和SCM的有效性。

文章预览

来源：我爱计算机视觉 本篇分享论文 Mini-Monkey: Multi-Scale Adaptive Cropping for Multimodal Large Language Models ，华科大提出2B最强多模态大模型- Mini-Monkey！ 论文地址：https://arxiv.org/pdf/2408.02034 项目地址：https://github.com/Yuliang-Liu/Monkey 研究动机 随着自然语言处理（NLP）领域的飞速发展，大型语言模型（LLMs）已成为研究的热点。然而，现有的多模态大型语言模型在处理高分辨率图像时通常使用一个切分策略，这个切分策略会不可避免会对目标、联通区域带来割裂，导致MLLM对于微小或形状不规则的目标的辨识能力。这个现象在文档理解任务中，表现极为明显，这限制了它们对细节场景的理解能力。 如下图（b）所示，切分策略导致图片中问题的语义丢失了，把豚鼠的鼻子看成了一直猴子。Mini-Monkey正是为了解决这一问题而生。 Mini-Monkey不仅在2B参数规模的MLLM中取 ………………………………