ECCV 2024 | MMPedestron行人检测器：实现传感器模态大一统

文章预览

摘要 · 看点 一种名为MMPedestron的多模态行人检测模型，能够处理多种传感器模态输入（如RGB、IR、Depth、LiDAR、Event）及其灵活组合。通过多模态联合训练，我们的模型在多个常用的行人检测基准上达到了最先进的性能，超越了针对特定传感器模态定制的领先模型。例如，在COCO-Persons数据集上达到71.1 AP，在LLVIP数据集上达到72.6 AP。 论文名称： When Pedestrian Detection Meets Multi-Modal Learning: Generalist Model and Benchmark Dataset 开源地址：https://github.com/BubblyYi/MMPedestron 动机 近年来，基于多传感器模态融合的行人检测是一个研究热点问题。然而，现有的行人检测基准通常只由一个或一对模态组成，例如LLVIP数据集（RGB+IR）和InOutDoor数据集（RGB+Depth）。我们的目标是创造一个通用的行人检测模型，能够处理多种传感器模态输入（如RGB、IR、Depth、LiDAR、Event）及这些模态 ………………………………