MMRel | 多模态大模型时代的评测物体间关系理解新基准

文章预览

关注公众号，发现CV技术之美 针对目前多模态大模型（MLLMs）对于物体间关系理解的不足，我们贡献了一个 大规模 、 高质量 、 多领域 的 专注于物体间关系理解 的 数据集 MMRel 。 相比于其他数据集，MMRel 具有以下 优点 ： 包含有超过 22K 条问答对，这些问题来自于三个不同领域的图片并考虑了三种物体间关系，确保了数据集的大规模以及多样性； 所有的标注都经过了人工检查，确保了数据集的高质量和准确性； 包含有一个高难度子集，专注于少见的或反常的物体间关系，这个子集可以从更具挑战性的角度评估模型的关系幻觉。 得益于上述优点，MMRel 是一个理想的评估多模态大模型对于物体间关系理解的数据集。MMRel 也可以用来微调模型，来提高模型对于物体间关系理解甚至于其他任务的能力。 论文标题：MMRel: A Relation Understanding Benchmark in the ML ………………………………