一张图搞定3D视效！深度解读北大、港中文、腾讯等联合开源项目ViewCrafter

文章预览

来自北大、港中文、腾讯等机构的研究人员提出 ViewCrafter ，可以从根据单张或稀疏输入图像生成精确相机可控的新视角视频，并支持场景级图生3D、文生3D和稀疏视角重建等应用。 论文标题：  ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis  论文链接： https://arxiv.org/abs/2409.02048 代码链接： https://github.com/Drexubery/ViewCrafter 项目主页： https://drexubery.github.io/ViewCrafter/ Huggingface  Demo： https://huggingface.co/spaces/Doubiiu/ViewCrafter 一、研究动机 尽管NeRF和3D-GS等新视角生成方法可以生成高保真度的新视角，但他们依赖于密集的多视角训练数据，且不具备泛化能力，这限制了它们在训练资源受限场景下的应用。在实际应用中，一个更普适的问题场景是训练一个可范化的模型，在不需要训练或微调的情况下从稀疏视角图像甚至单张输入图像中生成新视 ………………………………