【哥伦比亚大学】GenDDS：使用提示到视频生成模型来生成多样化驾驶视频场景

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2408.15868 摘要 本文介绍了GenDDS：使用提示到视频生成模型来生成多样化驾驶视频场景。自动驾驶训练需要各种各样的数据集，包括各种交通条件、天气场景和道路类型。传统的数据增强方法往往难以生成代表罕见事件的数据集。为了应对这一挑战，本文提出了GenDDS，这是一种通过利用高级潜在扩散模型Stable Diffusion XL（SDXL）的能力来生成驾驶场景的新方法。本文方法涉及使用描述性提示来引导合成过程，旨在产生逼真且多样化的驾驶场景。凭借ControlNet和Hotshot-XL等最新计算机视觉技术的强大能力，本文使用SDXL来构建一个完整的视频生成流程。本文采用了KITTI数据集（包括现实世界驾驶视频）来训练模型。通过一系列实验，本文证明了所提出的模型 ………………………………