清华提出Human4DiT，使用4D Diffusion Transformer生成自由视角人物视频，效果逼真！

文章预览

Human4DiT，使用 4D Diffusion Transformer 生成自由视角人物视频。又一个根据一张图，生成人物动画视频的项目，效果如下视频所示。 给定参考图像、SMPL序列和摄像机参数，Human4DiT能够生成自由视图动态人体视频。 相关链接 项目地址：https://human4dit.github.io/  论文链接：https://arxiv.org/html/2405.17405v1 论文阅读 HumanDiT：使用 4D Diffusion Transformer 生成自由视角人物视频 摘要 我们提出了一种新的方法，用于从单个图像下在任意观点下产生高质量的时空连贯的人类视频。我们的框架结合了U-NET的优势，以进行准确的状态注入和扩散变压器，以捕获跨观点和时间的全局相关性。核心是级联的4D变压器体系结构，可将注意力跨越跨视图，时间和空间维度分配，从而可以对4D空间进行有效的建模。通过将人类身份，摄像机参数和时间信号注入相应的变压器来实现精确 ………………………………