无限天气数据生成！WeatherDG：VLM+扩散模型直接爆拉14个点

主要观点总结

本文介绍了WeatherDG，一种结合Stable Diffusion和大型语言模型（LLM）的方法，用于生成大量逼真、多样化的天气驾驶场景图像。该方法旨在解决自动驾驶语义分割在恶劣天气条件下的领域偏移问题，通过生成的合成数据提高模型的泛化能力。文章首先概述了方法的主要思想和实验成果，然后详细描述了提出的方法、相关工作、实验和结论。

关键观点总结

关键观点1: 方法概述

WeatherDG结合Stable Diffusion和大型语言模型（LLM），通过微调扩散模型和程序化提示生成，生成大量逼真、多样化的天气驾驶场景图像，旨在解决自动驾驶语义分割在恶劣天气条件下的领域偏移问题。

关键观点2: 方法细节

使用源数据对Stable Diffusion模型进行微调，以适应驾驶场景；采用程序化的提示生成方法，利用大型语言模型（LLM）之间的协作生成详细和多样的场景提示；使用生成的图像进行语义分割模型的训练，采用UDA训练方法来提高模型的泛化能力。

关键观点3: 实验成果

实验结果表明，WeatherDG能够显著提高不同最先进方法的性能，特别是在“Cityscapes到ACDC”的实验设置中，使基线模型HRDA的mIoU提高了13.9%。

关键观点4: 其他亮点

文章还介绍了相关工作，如领域泛化语义分割（DGSS）、无监督领域自适应（UDA）和基于文本的图像生成；此外，还提供了可视化的图片生成结果和详细的实验设置。

文章预览

点击下方 卡片 ，关注“ 自动驾驶之心 ”公众号 戳我->  领取 自动驾驶近15个 方向 学习 路线 今天自动驾驶之心为大家分享英国利兹大学 & 卡内基梅隆大学最新的工作—WeatherDG！基于VLM的无限天气数据生成方案。如果您有相关工作需要分享，请在文末联系我们！ 自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询 >> 点击进入→ 自动驾驶之心 『 自动驾驶 』 技术交流群 论文作者  | Chenghao Qian等 编辑 | 自动驾驶之心 摘要 在这项工作中，我们提出了一种新颖的方法，名为WeatherDG，它可以通过两个基础模型的合作，即Stable Diffusion（SD）和大型语言模型（LLM），生成大量逼真、多样化的天气驾驶场景图像。具体来说，我们首先使用源数据对SD进行微调，使生成的样本内容和布局与真实驾驶场景保持一致。然后，我们基于LL ………………………………