SAM在自动驾驶中实现零样本（Zero-shot）鲁棒性

文章预览

Abstract 语义分割是自动驾驶中的一个重要感知任务，但它面临对抗性样本的风险。在过去几年中，深度学习逐渐从具有相对较少参数的卷积神经网络（CNN）模型过渡到具有大量参数的基础模型。Segment Anything Model (SAM) 是一种通用的图像分割框架，能够处理各种类型的图像，并且能够识别和分割图像中的任意物体，无需针对特定物体进行训练。它是一个统一的模型，能够处理包括语义分割、目标检测和跟踪在内的各种下游任务。在自动驾驶的语义分割任务中，研究SAM的零样本对抗鲁棒性非常重要。因此，我们对SAM在无需额外训练的情况下的鲁棒性进行了系统的实证研究。基于实验结果，即使在黑箱腐败和白箱对抗性攻击下，SAM的零样本对抗鲁棒性也是可以接受的，而无需额外训练。本研究的发现具有深远意义，庞大的模型参数和大量的训练数据导致 ………………………………