西湖大学&理想汽车 | Delphi：基于扩散模型的长视频生成方法

文章预览

Projection：https://westlake-autolab.github.io/delphi.github.io/ Arxiv： https://arxiv.org/pdf/2406.01349 本期概述 哈咯大家周末快乐！ 今天又又又是掉原创的一天。。 本期介绍一个自动驾驶数据仿真生成模型——Delphi！Delphi修改了扩散模型，通过噪声重新初始化模块和特征对齐的时间一致性模块，实现了多视角视频的空间和时间一致性，能够生成长达40帧的高质量视频。 Delphi 还提出了一个失败案例驱动的框架，通过生成与模型失败案例相似的训练数据，提高样本效率。在实验中，该框架仅使用4%的训练数据，就成功将端到端自动驾驶模型的规划性能提升了25%！ 论文的创新点： 噪声重新初始化模块 ：通过在不同视角之间共享噪声，增强了视频的空间一致性，使得生成的多视角视频在视觉效果上更加统一。 特征对齐的时间一致性模块 ：采用精确的跨帧特征对齐，确保 ………………………………