多模态可解释人工智能综述：过去、现在与未来

主要观点总结

本文回顾了多模态可解释人工智能（MXAI）的历史发展，将其分为传统机器学习、深度学习、判别基础模型和生成式大型语言模型四个时代。文章分析了MXAI在数据、模型和事后可解释性三个方面的演变，并介绍了相关的评估指标和数据集。此外，文章还介绍了当前的主要挑战，包括可解释性技术的规模化、平衡模型的准确性与可解释性以及解决伦理问题。最后，文章强调了MXAI的持续进展对于确保AI系统的透明性、公正性和可信性的重要性。

关键观点总结

关键观点1: MXAI的历史发展

多模态可解释人工智能（MXAI）的提出，整合多种模态用于预测和解释任务。其发展经历了传统机器学习、深度学习、判别基础模型和生成式大型语言模型四个时代。

关键观点2: MXAI的方法分类

MXAI的方法按历史发展分为数据可解释性、模型可解释性和事后可解释性三类，涵盖数据、模型和结果的不同层面。

关键观点3: 生成式大型语言模型时代的重点

重点是通过判别模型奠定基础的生成任务，利用多模态数据提高模型的性能和准确性，增强模型的泛化能力，并提升模型的可解释性。

关键观点4: 当前挑战和未来发展方向

当前的主要挑战包括可解释性技术的规模化、平衡模型的准确性与可解释性，以及解决伦理问题。未来发展方向包括提升模型的透明度和可信度，推动多模态理解的边界扩展。

文章预览

摘要 —人工智能（AI）通过计算能力的提升和海量数据集的增长迅速发展。然而，这一进展也加剧了对AI模型“黑箱”性质的解释挑战。为了解决这些问题，可解释人工智能（XAI）应运而生，重点关注透明性和可解释性，以增强人类对AI决策过程的理解和信任。在多模态数据融合和复杂推理场景中，多模态可解释人工智能（MXAI）的提出将多种模态整合用于预测和解释任务。同时，大型语言模型（LLMs）的出现推动了自然语言处理领域的显著突破，但它们的复杂性进一步加剧了MXAI问题。为了深入了解MXAI方法的发展，并为构建更加透明、公平和可信的AI系统提供重要指导，我们从历史的角度回顾了MXAI方法，并将其划分为四个发展阶段：传统机器学习、深度学习、判别式基础模型和生成式大型语言模型。我们还回顾了MXAI研究中使用的评估指标和数据集， ………………………………