【CVPR2025】MASH-VLM：通过解耦时空表征缓解视频大语言模型中的动作-场景幻觉问题

文章预览

来源：专知 本文 约1000字 ，建议阅读 5 分钟 我们提出了MASH-VLM，即通过解耦时空表征来缓解视频大语言模型中的动作-场景幻觉。 在本研究中，我们致力于解决视频大语言模型（Video-LLMs）中的动作-场景幻觉问题，即模型基于场景上下文错误预测动作，或基于观察到的动作错误预测场景。我们发现，现有的视频大语言模型通常因以下两个主要原因而出现动作-场景幻觉：首先，现有模型通过对所有标记（tokens）应用注意力操作，将空间和时间特征混为一谈；其次，它们使用标准的旋转位置嵌入（RoPE），导致文本标记过度依赖其序列顺序而强调某些类型的标记。为了解决这些问题，我们提出了MASH-VLM，即通过解耦时空表征来缓解视频大语言模型中的动作-场景幻觉。我们的方法包括两项关键创新：（1）DST-attention，一种新颖的注意力机制，通过使用掩码 ………………………………