当自动驾驶遇上扩散模型（Panacea）: 生成自动驾驶全景和可控视频

文章预览

Abstract 在自动驾驶领域，对高质量的标注训练数据的需求日益增加。在本文中，我们提出了Panacea，这是一种创新的方法，用于生成驾驶场景中的全景和可控视频，能够生成无限数量的多样化、标注的样本，对于自动驾驶的进步至关重要。Panacea解决了两个关键问题：“一致性”和“可控性”。一致性确保了时间和跨视角的一致性，而可控性确保了生成内容与相应标注的对齐。我们的方法结合了新颖的4D注意力机制和两阶段生成管道来保持一致性，并通过ControlNet框架对鸟瞰图(BEV)布局进行细致控制。Panacea在nuScenes数据集上的广泛定性和定量评估证明了其在生成高质量多视角驾驶场景视频方面的有效性。这项工作显著推动了自动驾驶领域的发展，通过有效增加用于先进BEV感知技术训练的数据集。 项目地址：https://panacea-ad.github.io/  欢迎加入自动驾驶实战 ………………………………