CVPR`24 | 4D编辑哪家强？浙大首次提出通用指导4D编辑框架：Instruct 4D-to-4D

文章预览

点击下方 卡片 ，关注“ 自动驾驶之星 ” 这里有一群奋斗在自动驾驶 & 座舱量产第一线的小伙伴等你加入 作者： Linzhan Mou等 解读：AI生成未来        文章链接：https://arxiv.org/pdf/2406.09402 项目地址：https://immortalco.github.io/Instruct-4D-to-4D/ 今天和大家一起学习的是Instruct 4D-to-4D，可以通过2D扩散模型实现4D感知和时空一致性，以生成高质量的指令引导的动态场景编辑结果。先一起来看看4D编辑的精彩效果： 传统的2D扩散模型在动态场景编辑中的应用通常会导致不一致，主要原因在于其固有的逐帧编辑方法。为了解决将指令引导的编辑扩展到4D的复杂性，本文的关键洞察是将4D场景视为伪3D场景，解耦为两个子问题：在视频编辑中实现时间一致性，并将这些编辑应用于伪3D场景。基于此，本文首先通过引入anchor感知注意模块来增强Instruct-Pix2Pix (IP2P)模型， ………………………………