文章预览
本文研究了在大规模语言模型中集成视觉信息所导致的自然语言理解和生成能力的下降问题，尤其是在多模态大语言模型（ MLLM ）中。通过将 LLaVA MLLM 视为一个持续学习问题，文章评估了 五种持续学习方法 ，旨在减轻模型在处理新视觉语言任务时的语言能力遗忘。研究结果表明，所提的方法能够显著降低语言性能退化，同时保持高水平的多模态准确性，最佳方法的语言性能损失最多减少 15% 。此外，本文还展示了在一系列视觉 - 语言任务上持续学习的鲁棒性，有效地保持了语言技能并获取了新的多模态能力。 1 LLAVA MLLM 视觉编码器 LLaVA使用预训练的视觉编码器（如ViT-L/14）来处理输入图像。该编码器在训练过程中保持冻结状态，以确保模型的稳定性并防止在初始训练任务中的过拟合。 · 语言模型（LLM） LLaVA集成了多种规模的语言模型，包括不同参
………………………………
