BEV感知任务真的很稳定吗？极端情况下怎么样？30+SOTA算法全面探析~

文章预览

01 写在前面 BEV 表示方法的进步在车载3D感知领域展现出了巨大的潜力。然而，尽管这些方法在标准基准测试中取得了令人瞩目的成果，但其在不同条件下的鲁棒性仍然没有得到充分的评估。本研究提出了RoboBEV，一个设计用于评估BEV算法鲁棒性的全面基准套件。该套件包含了多种相机损坏类型，每种类型都在三个严重程度级别上进行了考察。基准还考虑了使用多模态模型时发生的完整传感器故障的影响。通过RoboBEV评估了33个最先进的基于BEV的感知模型，这些模型涵盖了检测、地图分割、深度估计和占用预测等任务。分析揭示了模型在分布内数据集上的性能与其对分布外挑战的韧性之间的显著相关性。实验结果还强调了诸如预训练和无需深度的BEV转换等策略在增强对分布外数据的鲁棒性方面的有效性。此外观察到，利用广泛的时间信息可以显著提高 ………………………………