不到4B的多模态大语言模型Mini-InternVL：能快速迁移到自动驾驶的口袋多模态模型

主要观点总结

文章介绍了Mini-InternVL，一个轻量级的多模态大语言模型，具有高效的性能，能够在消费级GPU或边缘设备上使用。该模型通过知识蒸馏和迁移学习等技术，实现了在多种下游任务中的高效应用。文章详细描述了模型的设计特点、训练方法和实验结果，并探讨了数据样本量对领域适应的影响。

关键观点总结

关键观点1: Mini-InternVL的特点

Mini-InternVL是一系列轻量级的多模态大语言模型，具有参数规模小但性能出色的特点。它采用了知识蒸馏技术，通过强大的视觉编码器进行训练，能够在各种实际场景中广泛应用。

关键观点2: 模型的训练方法

Mini-InternVL的训练包括语言-图像对齐和视觉指令微调两个阶段。在训练过程中，采用了多样化的数据集进行预训练和全参数微调，以增强模型在多种任务中的表现。

关键观点3: 模型的应用领域

Mini-InternVL能够轻松迁移到各种特定领域的下游任务，如自动驾驶、医学图像和遥感等。通过简单的迁移学习范式，模型能够在这些领域中实现高效的应用。

关键观点4: 实验结果

实验结果表明，Mini-InternVL在通用多模态基准测试上表现出色，与大型模型相比具有竞争力。在特定领域任务中，通过最小的计算成本进行微调，能够匹敌闭源商业模型。

关键观点5: 消融研究

文章还进行了消融研究，探讨了不同适应方法对模型性能的影响，包括全参数微调、冻结视觉编码器和LoRA等方法。研究结果表明，全参数微调在领域特定任务上取得了最高的分数。

文章预览

Abstract 多模态大语言模型（MLLMs）在视觉-语言任务中表现出色，涵盖了广泛的领域。然而，大规模模型和高计算成本给在消费级GPU或边缘设备上的训练和部署带来了巨大挑战，从而阻碍了其广泛应用。为了解决这个问题，我们推出了Mini-InternVL，一系列参数在1B到4B之间的多模态大语言模型，其性能可达90%，但参数量仅为5%。这种显著的效率和效果提升，使我们的模型在各种实际场景中更加易于使用和应用。为了进一步推动我们的模型普及，我们开发了一个统一的适配框架，使Mini-InternVL能够迁移并在下游任务（包括自动驾驶、医学图像和遥感）中超过专用模型。我们相信我们的研究能够为高效且有效的多模态大语言模型的发展提供宝贵的见解和资源。 项目地址 ：https://github.com/OpenGVLab/InternVL  欢迎加入自动驾驶实战群 Introduction 近年来，多模态大语言 ………………………………