复旦大学提出DriveX使用视频扩散模型生成先验的自由轨迹驾驶场景

文章预览

Abstract 沿自由形式的轨迹生成驾驶场景对于驾驶模拟至关重要，它能够实现端到端驾驶策略的闭环评估。尽管现有方法在记录轨迹的视图合成上表现出色，但在自由形式轨迹上的表现仍面临挑战，这是由于驾驶视频的视角有限以及驾驶环境的广阔性。 为了解决这一问题，我们提出了一种新颖的自由形式驾驶视图合成方法，称为 DriveX ，通过利用视频生成先验来优化跨多种轨迹的三维模型。具体来说，我们设计了一个逆问题，使视频扩散模型可以作为参数化三维模型（例如，高斯分布模型）在多轨迹优化中的先验。在优化过程中，我们迭代地执行这一过程，以无缝利用生成先验。 最终的模型能够在记录轨迹之外生成高保真的虚拟驾驶环境，从而实现自由轨迹驾驶模拟。除了真实驾驶场景之外， DriveX 还可以用于从 AI 生成的视频中模拟虚拟驾驶世界 ………………………………