UrBench：针对多模态大模型处理复杂多视图城市场景能力的全面评估基准

文章预览

UrBench: A Comprehensive Benchmark for Evaluating Large Multimodal Models in Multi-View Urban Scenarios 介绍： https://opendatalab.github.io/UrBench/ 论文： https://arxiv.org/abs/2408.17267 UrBench  是一个创新的大型多模态模型（LMMs）评估基准，专门设计用于在复杂的多视图城市环境中测试和衡量这些模型的性能，由上海人工智能实验室联合中山大学、商汤科技研究院和武汉大学的研究人员共同打造。 UrBench 通过精心策划的11.6K个问题，全面覆盖了地理定位、场景推理、场景理解和对象理解等四个任务维度，共计14种不同的任务类型。这些任务不仅包括了地区级别的评估，以检验LMMs在城市规划方面的能力，也包括了角色级别的评估，以考察模型对日常生活中城市问题的响应能力。 UrBench 的特点在于其多视图数据的整合，它不仅包括街道视角和卫星视角的数据，还有它们之间的交叉视图数 ………………………………