复旦&阿里 | 无需微调！DreamVideo再进化！DreamVideo-2：一键生成专属外观和运动轨迹的定制化视频！

主要观点总结

文章介绍了复旦大学人工智能方向博士卫昱杰关于DreamVideo-2的研究工作。该研究关注定制化视频生成，特别是无需推理时重新微调的一键生成专属外观和运动轨迹的定制化视频。文章还提到了研究背景、方法概述、数据集和可视化展示。

关键观点总结

关键观点1: 研究背景与目的

文章介绍了定制化视频生成的研究背景，现有的方法通常需要复杂的test-time fine-tuning，并且难以平衡物体学习和运动控制。因此，研究目标是提出一个Zero-Shot定制化视频生成框架DreamVideo-2，以简化生成过程并实现更好的物体学习和运动控制平衡。

关键观点2: 研究方法与特点

文章介绍了DreamVideo-2的研究方法和特点，包括物体学习和运动控制两个方面。物体学习方面，利用视频扩散模型的固有能力提取多尺度物体特征，无需额外的图像编码器。运动控制方面，采用边界框作为用户输入来描绘物体运动轨迹，并通过mask引导的运动模块实现精确的运动控制。此外，还介绍了平衡物体学习和运动控制的关键设计，包括Masked reference attention和Reweighted diffusion loss。

关键观点3: 实验数据与结果

文章展示了DreamVideo-2实验的结果和性能，包括与最先进方法的比较和可视化展示。此外，还介绍了构建的单物体视频数据集（DreamVideo-2数据集），其中包括每个视频的caption、所有帧前景物体的bounding box和mask标注。

关键观点4: 嘉宾介绍与联系方式

文章还介绍了嘉宾卫昱杰的基本信息，包括研究方向、个人主页等。同时提供了联系方式，方便有兴趣的读者进一步交流和合作。

文章预览

点击下方 卡片 ，关注 「3D视觉工坊」 公众号 选择 星标 ，干货第一时间送达 本次分享我们邀请到了复旦大学人工智能方向在读博士 卫昱杰 为大家着重介绍他的工作： DreamVideo-2 。如果您有相关工作需要分享，欢迎文末联系我们。 DreamVideo-2 : Zero-Shot Subject-Driven Video Customization with Precise Motion Control 论文 ： https://arxiv.org/abs/2410.13830 主页 ： https://dreamvideo2.github.io/ 直播信息 时间 2024年 11月11日 (周一) 19：00 主题 复旦 & 阿里 | 无需微调！DreamVideo再进化！ DreamVideo-2：一键生成专属外观和运动轨迹的定制化视频！ 直播平台 3D视觉工坊哔哩哔哩 扫码观看直播，或前往B站搜索3D视觉工坊观看直播 3DCV视频号 也将同步直播 嘉宾介绍 卫昱杰 复旦大学人工智能方向在读博士。研究方向为视频生成。 个人主页 ： https://weilllllls.github.io/ 直播大纲 定制化图像生成的 ………………………………