多模态长对话中的分布外检测

文章预览

文章介绍了一种用于跨模态对话系统的 OOD （ Out-of-Distribution ）检测方法，提出了一个名为 “ 对话 - 图像对齐与增强框架 ” （Dialogue Image Aligning and Enhancing Framework， DIAEF ）的新框架。该框架结合了图像和对话内容，通过新的评分机制来检测两种常见的 OOD 情境： 1 ）对话与图像输入不匹配， 2 ）输入对中出现未知标签。实验结果表明， DIAEF 框架能够有效识别长对话中的 OOD 样本，尤其是在标签未见过的情况下，比单独使用图像或对话检测更为高效。此方法不仅提升了多轮对话系统的健壮性，还为未来相关研究提供了基准。 1 跨模态OOD检测框架-DIAEF 输入处理 ：该框架接收由图像和对话组成的输入对，通过视觉语言模型（如 CLIP 或 BLIP ）对图像和对话进行编码，将它们转换为共同的嵌入空间。 ·  对齐评分 ：利用图像和对话的嵌入，计算它们之间 ………………………………