文章预览
文章转载自公众号：自动驾驶之心。本文只做学术/技术分享，如有侵权，联系删文。 01 写在前面 & 笔者的个人理解 从自车的驾驶轨迹中生成真实的视觉图像是实现自动驾驶模型可扩展训练的关键一步。基于重建的方法从log中生成3D场景，并通过神经渲染合成几何一致的驾驶视频，但它们对昂贵标注的依赖限制了它们在野外驾驶场景中的泛化能力。另一方面，生成模型可以以更通用的方式合成动作条件驾驶视频，但往往难以保持3D视觉的一致性。本文介绍了DreamDrive，这是一种结合生成和重建优点的4D时空场景生成方法，用于合成具有3D一致性的可推广4D驾驶场景和动态驾驶视频。具体来说，我们利用视频扩散模型的生成能力来合成一系列视觉参考，并通过一种新的混合高斯表示将其进一步提升到4D。给定一个驾驶轨迹，然后我们通过高斯飞溅渲染3D一
………………………………
