8卡3090可训练，Mini-Monkey解决切分策略增大分辨率导致的语义丢失

主要观点总结

这篇文章介绍了Mini-Monkey模型，该模型通过引入多尺度自适应裁剪策略（MSAC）解决了多模态大型语言模型在处理高分辨率图像时出现的“锯齿效应”问题。MSAC策略使得模型能够在不同尺度上捕捉图像特征，避免了因裁剪导致的信息丢失。此外，文章还介绍了尺度压缩机制（SCM），该机制减轻了计算负担，提高了模型的处理效率。Mini-Monkey在多个基准测试中取得了优异的成绩，特别是在文档理解任务中表现突出。此外，文章还提供了消融实验的结果和定性结果，以证明Mini-Monkey的有效性和优越性。

关键观点总结

关键观点1: 研究动机

解决多模态大型语言模型在处理高分辨率图像时因切分策略导致的目标区域割裂问题，特别是在文档理解任务中的影响。

关键观点2: 主要方法

引入多尺度自适应裁剪策略（MSAC）和尺度压缩机制（SCM）来解决上述问题。MSAC允许在不同尺度上捕捉图像特征，SCM则减轻了计算负担，提高了模型效率。

关键观点3: 实验结果

Mini-Monkey在多个基准测试中表现优异，特别是在文档理解任务中。消融实验和定性结果证明了其有效性和优越性。

关键观点4: 投稿邀请

TechBeat社区邀请用户投稿，内容涵盖最新技术解读、系统性知识分享、前沿资讯解说、心得经历讲述等。投稿方式详见文章末尾。

文章预览

目前，大型语言模型备受关注。然而，多模态LLMs在处理高分辨率图像时常用的切分策略容易割裂目标区域，影响对细节的识别，尤其在文档理解任务中表现明显。 Mini-Monkey通过引入多尺度自适应裁剪策略（MSAC）解决了这一问题，克服了“锯齿效应”，在2B参数模型中实现了SOTA性能，并在OCRBench测试中超越了8B参数的最先进模型。MSAC还通过SCM技术减少了计算量，有效提升了模型的输入分辨率和处理效率。 论文题目：  Mini-Monkey: Multi-Scale Adaptive Cropping for Multimodal Large Language Models  论文地址： https://arxiv.org/pdf/2408.02034 项目地址： https://github.com/Yuliang-Liu/Monkey 一、研究动机 随着自然语言处理（NLP）领域的飞速发展，大型语言模型（LLMs）已成为研究的热点。然而，现有的多模态大型语言模型在处理高分辨率图像时通常使用一个切分策略，这个切分策略会 ………………………………