多模态思维链推理：全面综述

文章预览

通过将思维链（CoT）推理在类人逐步推理过程中的优势扩展到多模态场景，多模态思维链（MCoT）推理近年来引起了广泛的研究关注，尤其是在与多模态大语言模型（MLLMs）的结合方面。现有的MCoT研究设计了多种方法论和创新推理范式，以应对图像、视频、语音、音频、3D和结构化数据等不同模态的独特挑战，并在机器人、医疗、自动驾驶和多模态生成等应用中取得了广泛成功。然而，MCoT仍然面临独特的挑战和机遇，需要进一步关注以确保该领域的持续繁荣。遗憾的是，目前缺乏对这一领域的最新综述。为了填补这一空白，我们首次对MCoT推理进行了系统性综述，阐明了相关的基础概念和定义。我们从不同应用场景的多个角度提供了全面的分类和深入的方法论分析。此外，我们还对现有挑战和未来研究方向提出了见解，旨在推动多模态通用人工智能 ………………………………