复旦大学提出DriveX使用视频扩散模型生成先验的自由轨迹驾驶场景

文章预览

Abstract                                            点击下方 卡片 ，关注“ 自动驾驶之星 ” 这里有一群奋斗在自动驾驶量产第一线的小伙伴等你加入 沿自由形式的轨迹生成驾驶场景对于驾驶模拟至关重要，它能够实现端到端驾驶策略的闭环评估。尽管现有方法在记录轨迹的视图合成上表现出色，但在自由形式轨迹上的表现仍面临挑战，这是由于驾驶视频的视角有限以及驾驶环境的广阔性。 为了解决这一问题，我们提出了一种新颖的自由形式驾驶视图合成方法，称为 DriveX ，通过利用视频生成先验来优化跨多种轨迹的三维模型。具体来说，我们设计了一个逆问题，使视频扩散模型可以作为参数化三维模型（例如，高斯分布模型）在多轨迹优化中的先验。在优化过程中，我们迭代地执行这一过程，以无缝利用生成先验。 最终的模型能够在记录 ………………………………