无需训练！多提示视频生成最新SOTA！港中文&腾讯等发布DiTCtrl：基于MM-DiT架构

文章预览

↑ 点击 蓝字  关注极市平台 作者丨AI生成未来 来源丨AI生成未来 编辑丨极市平台 极市导读   腾讯等机构提出的DiTCtrl模型，这是一个基于MM-DiT架构的多提示视频生成方法，首次实现了无需额外训练的动态条件选择。DiTCtrl通过引入KV共享机制和隐混合策略，确保了不同提示之间的平滑过渡和一致的对象运动，展现出在视频生成任务中的优越性能，同时提出了MPVBench作为新的评估框架。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 文章链接： https://arxiv.org/pdf/2412.18597 项目链接： https://github.com/TencentARC/DiTCtrl 亮点直击 DiTCtrl ，这是一种基于MM-DiT架构的、首次无需调优的多提示视频生成方法。本文的方法结合了新颖的KV共享机制和隐混合策略，使得不同提示之间能够无缝过渡，且无需额外的训练。 首度分析了MM-DiT的注意力机制，发现其3D全注意 ………………………………