LLaVA-HD全新升级，更快更强！已开源

文章预览

论文标题： Beyond LLaVA-HD: Diving into High-Resolution Large Multimodal Models 论文链接： https://arxiv.org/abs/2406.08487 代码链接： https://github.com/yfzhang114/SliME 高分辨率的视觉输入近期被证明是大型多模态模型（LMMs）的基础，这对视觉感知和推理至关重要。现有的研究通常采用一种很直接的分辨率提升方法，其中图像由全局和局部分支组成，后者是被切片的图像块，但被调整为与前者相同的分辨率。这意味着 更高的分辨率需要更多的局部块 ，从而导致高昂的计算开销，同时， 局部图像标记的主导地位可能削弱全局上下文 。 来自中科院，松鼠 Ai，阿里以及 Meta 的研究人员提出了一种新的处理策略 SliME, SliME 的核心在于，对 global 和 local patches 采取不同的处理策略，强调 global 特征的主导地位并尽可能挖掘全局上下文，压缩 local 特征以保证计算效率。除了方法之外， ………………………………