南大&阿里发布多模态大模型WINGS，解决基于LLM的多模态训练灾难遗忘问题

文章预览

点关注，不迷路，用心整理每一篇算法干货~ 后台留言” 交流 “， 加入圆圆算法交流群~ 👇🏻扫码👇🏻 加入 圆圆算法知识星球~ （文末送 双11优惠券 ！） （ 已有 910+ 同学加入学习， 700+ 干货笔记） 今天给大家介绍一篇南京大学、阿里巴巴联合发表的多模态模型建模方法WINGS，解决基于LLM的多模态模型在进行跨模态建模时的灾难遗忘问题。 论文标题 ：WINGS: Learning Multimodal LLMs without Text-only Forgetting 下载地址 ： https://arxiv.org/pdf/2406.03496 1 研究背景 随着人工智能技术的进步，多模态大型语言模型（MLLMs）作为大型语言模型（LLMs）的扩展，已经在视觉相关的描述生成、理解、推理等方面展现出惊人的性能。这些模型通过整合视觉输入（如图像）和文本输入，能够处理更复杂的任务。 尽管MLLMs在多模态任务中表现出色，但研究发现它们在训练过程中 ………………………………