《LLMs遇见多模态生成与编辑》综述

文章预览

随着大型语言模型（LLMs）的最新进展，结合LLMs与多模态学习的兴趣日益增长。先前关于多模态大型语言模型（MLLMs）的综述主要集中在理解方面。 本综述详细阐述了不同领域的多模态生成，包括图像、视频、3D和音频，并重点介绍了这些领域的里程碑式的显著进展 。具体来说，我们详尽调查了这些方法背后的关键技术组件和研究中使用的多模态数据集。此外，我们深入探讨了可以利用现有生成模型进行人机交互的工具增强型多模态代理。最后，我们还全面讨论了人工智能安全的进展，并研究了新兴应用及未来前景。我们的工作提供了对多模态生成的系统且深入的概述，预计将推动生成内容人工智能（AIGC）和世界模型的发展。所有相关论文的精选列表可以在https://github.com/YingqingHe/Awesome-LLMs-meet-Multimodal-Generation找到。 人与物理世界的互动涉及来自多 ………………………………