ETH新作CAFuser：自动驾驶多模态语义感知新高度，多个下游任务SOTA！

文章预览

点击下方 卡片 ，关注 「3D视觉工坊」 公众号 选择 星标 ，干货第一时间送达 来源：计算机视觉工坊 0. 论文信息 标题：Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes 作者：Tim Broedermann, Christos Sakaridis, Yuqian Fu, Luc Van Gool 机构：ETH Zurich、Sofia University St. Kliment Ohridski 原文链接：https://arxiv.org/abs/2410.10791 1. 导读 利用多个传感器对于自动驾驶中强大的语义感知至关重要，因为每种传感器类型都有互补的优势和劣势。然而，现有的传感器融合方法通常在所有条件下一致地对待传感器，导致次优性能。相比之下，我们提出了一种新的，条件感知的多模态融合方法，用于驾驶场景的鲁棒语义感知。我们的方法CAFuser使用RGB摄像头输入对环境条件进行分类，并生成一个条件令牌来指导多种传感器模态的融合。我们还新推出了特定于设备的功能适 ………………………………