多模态大模型中，多模态融合后怎样知道最终结果受哪种模态影响更大？

文章预览

技术总结专栏 作者：喜欢卷卷的瓦力 本篇介绍多模态大模型中如何基于最终结果分析各模态的影响。 具身智能被众多大佬看好，通往AGI的路最终肯定需要多个模态的大模型互相融合。多个模态配合好也是有可能去构建一个模拟现实的世界模型的。 最近一直在研究和尝试多模态大模型在一些VQA领域的前瞻研究和实际落地部署问题，遇到一个值得思考的问题： 如果当预测结果出问题的时候，怎么去溯源是哪个模态的数据出的问题呢？ 这个方向感觉探索的足够深入是可以发论文的。 由于基于注意力机制去溯源的方法在大模型时代成本极高，因此最后还是需要考虑建模后的可解释性方法，目前 主要是找到一些比较经典的可解释性机器学习方法，大家有更好的思路也可以提一提啊~ 下面是一个快捷目录。 1. 可解释性机器学习分类 2. 推荐方法   一、可解 ………………………………