WEDGE：通过生成视觉语言大模型DAALL-E构建的自动驾驶多种天气数据集

文章预览

23年5月论文“WEDGE: A multi-weather autonomous driving dataset built from generative vision-language models“，主要来自CMU团队。 开放的道路给自主感知带来了许多挑战，包括极端天气。 在好天气数据集上训练的模型经常无法在这些分布外数据（OOD）设置中进行检测。 为了增强感知中的对抗性鲁棒性，本文引入WEDGE（WEather Images by DALL-E GEneration）： 一个通过提示用视觉语言生成模型生成的合成数据集。 WEDGE 由 16 种极端天气条件下的 3360 张图像组成，并用 16513 个边框手动注释，支持天气分类和 2D 目标检测任务的研究。 作者从研究的角度分析了WEDGE，验证了其对于极端天气自主感知的有效性。 作者还建立了分类和检测的基线性能，测试准确度为 53.87%，mAP 为 45.41。 WEDGE 可用于微调检测器，将真实世界天气基准（例如 DAWN）的 SOTA 性能提高 4.48 AP，适用于卡车等类别 ………………………………