边缘端也可以跑大模型 | 一文总结高效多模态大模型的时间线、高效结构以及训练策略

文章预览

前言   过去一年，多模态大型语言模型（MLLMs）在视觉问答、视觉理解和推理等任务上表现出了显著的性能。然而，庞大的模型大小和高昂的训练和推理成本阻碍了MLLMs在学术界和工业界的广泛应用。因此，研究高效和轻量级的MLLMs具有巨大的潜力，尤其是在边缘计算场景中。 在本调查中对高效MLLMs的现状进行了全面而系统的回顾。具体而言，作者 总结了代表性高效MLLMs的时间线、高效结构和策略的研究状态以及应用 。最后，作者讨论了当前高效MLLM研究的局限性，并探讨了有前景的未来方向。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! GitHub：https://github.com/lijiannuist/Efficient-Multimodal-LLMs-Survey 1 Introduction 大型预训练是人工智能（AI）的主导方法，已在许 ………………………………