ECCV'24｜生成质量提升80%！清华AIR提出SCP-Diff：真假难辨的驾驶场景生成新方案

主要观点总结

本文提出了“Noise Prior”的解决方案，针对语义图像合成（SIS）任务，在Diffusion推理过程中对噪声加入先验信息，在Cityscapes、ADE20K和COCO-Stuff数据集上取得了State-Of-The-Art的结果。文章详细介绍了噪声先验的提出背景、方法、实验和结果。

关键观点总结

关键观点1: 文章背景介绍

介绍了SIS任务的背景和意义，现有方法存在的问题，以及文章提出解决方案的动机。

关键观点2: 方法介绍

详细介绍了文章提出的噪声先验的方法，包括空间噪声先验、类别噪声先验和联合先验的计算过程和作用。

关键观点3: 实验设置和结果

介绍了实验设置，包括数据集、实验方法和评价指标。然后详细展示了实验结果，包括不同类型的噪声先验的比较、和SoTA模型的对比、消融实验结果等。

关键观点4: 总结

总结了文章的主要工作和贡献，并展望了未来的工作方向。

文章预览

↑ 点击 蓝字  关注极市平台 作者丨Huan-ang Gao等 来源丨自动驾驶之心 编辑丨极市平台 极市导读   本文提出“Noise Prior”的解决方案，在Diffusion推理过程中对噪声加入先验信息，在Cityscapes，ADE20K和COCO-Stuff数据集上取得了State-Of-The-Art的结果，并且将Cityscapes数据集上的FID值从44.5提升到10.5。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 近日，来自清华大学智能产业研究院（AIR）助理教授赵昊老师的团队，联合梅赛德斯-奔驰中国，中国科学院大学和北京大学，提出了一种根据语义图生成对应图像的新方法。研究重点关注图像生成中的Semantic Image Synthesis (SIS) 任务，解决了之前方法生成图像质量较低，和语义图不够符合的问题。团队给出了“Noise Prior”的解决方案，在Diffusion推理过程中对噪声加入先验信息，这一方法简单有效，在Cityscapes，ADE20K ………………………………