R-Bench | 多模态大模型是否在真实世界中鲁棒？

文章预览

作者 : Chunyi Li, Jianbo Zhang, Zicheng Zhang, Haoning Wu, Yuan Tian, Wei Sun, Guo Lu, Xiaohong Liu, Xiongkuo Min, Weisi Lin, Guangtao Zhai 来源 : 上海交通大学 MM-Lab，南洋理工大学 S-Lab，零一万物 论文题目 : R-Bench: Are your Large Multimodal Model Robust to Real-world Corruption? 论文链接 : https://github.com/Q-Future/R-Bench/blob/main/R_Bench_Preview.pdf 代码链接 : https://github.com/Q-Future/R-Bench 内容整理 : 李春一 目录 引言 鲁棒性测评体系 数据集构建 失真场景建模 鲁棒性定义 实验 实验设置 大模型鲁棒性分析 失真因素分析 与人类的对比 总结 附录 引言 图1：R-Bench对LMM和失真的探索 多模态大模型 (Large Multimodal Model, LMMs) 在大量视觉任务中表现出了卓越的能力。然而，不同于单模态的大语言模型(Large Language Model, LLMs)，尽管LMMs同样拥有出色的性能，它暂时还没有像LLM一样深度融入写作，搜索，代码等多样化的需 ………………………………