多模态基础模型的机制可解释性综述

文章预览

基础模型的崛起已经改变了机器学习研究，推动了揭示其内部机制的努力，并开发出更高效、更可靠的应用以实现更好的控制。尽管在解释大规模语言模型（LLMs）方面已取得显著进展，但多模态基础模型（MMFMs）——如对比视觉-语言模型、生成视觉-语言模型和文本到图像模型——在可解释性上提出了超越单模态框架的独特挑战。尽管已有初步研究，但LLMs与MMFMs的可解释性之间仍存在显著差距。本综述探索了两个关键方面：（1）将LLM可解释性方法适应到多模态模型；（2）理解单模态语言模型与跨模态系统之间的机制差异。通过系统回顾当前的MMFM分析技术，我们提出了一种结构化的可解释性方法分类法，比较了单模态与多模态架构中的洞察，并突出了关键的研究空白。 1. 引言 多模态基础模型（MMFMs）的快速发展与广泛应用——尤其是图像和文本模 ………………………………