专栏名称: AIGC Studio
一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
今天看啥  ›  专栏  ›  AIGC Studio

CustomCrafter,可保留动作和概念合成功能的定制视频生成框架!

AIGC Studio  · 公众号  ·  · 2024-09-17 00:00
    

主要观点总结

腾讯联合浙江大学提出了一种定制视频生成框架CustomCrafter,该框架能够根据文本提示和参考图像生成高质量个性化视频,同时保留运动生成和概念组合的能力。

关键观点总结

关键观点1: 框架介绍

CustomCrafter是一个用于定制视频生成的新框架,可基于文本提示和参考图像生成视频,保留运动生成和概念组合能力。

关键观点2: 模型特点

CustomCrafter通过设计灵活的模块,无需额外视频,仅通过少量图像学习就能生成高质量个性化视频。允许自定义主体身份和运动模式。

关键观点3: 方法概述

CustomCrafter通过保留运动生成和概念组合能力,生成带有文本提示的所需视频。采用LoRA构建空间主题学习模块,并提出动态加权视频采样策略。

关键观点4: 实验与比较

实验结果表明,CustomCrafter相比之前的方法有明显提升,特别是在概念组合方面。与SOTA的比较显示,CustomCrafter在定制视频生成方面表现更优秀。

关键观点5: 用户研究

通过用户研究,CustomCrafter在与其他比较方法的比较中表现最好,获得了人类偏好。


文章预览

腾讯联合浙大提出了一种定制化视频生成框架-CustomCrafter,它能够基于文本提示和参考图像生成自定义视频,同时保留运动生成和概念组合的能力。 通过设计一系列灵活的模块,使得模型实现了无需额外视频,通过少量图像学习,就能生成高质量的个性化视频。 上图为 CustomCrafter 可视化结果。CustomCrafter允许自定义主体身份和运动模式 通过保留运动生成和概念组合能力来生成带有文本提示的所需视频。 相关链接 论文地址:http://arxiv.org/abs/2408.13239v1 项目主页:https://customcrafter.github.io/ 论文阅读 CustomCrafter:具有保留动作和概念合成功能的定制视频生成 摘要 定制视频生成旨在通过文本提示和主体参考图像生成高质量的视频。然而,由于它只在静态图像上进行训练,主体学习的微调过程会破坏视频扩散模型 (VDM) 组合概念和生成运动的能力。为了恢复 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览