ViewCrafter：来自腾讯的从单个或稀疏图像生成高保真新视角视频的新方法

文章预览

ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis 介绍： https://drexubery.github.io/ViewCrafter/ 代码： https://github.com/Drexubery/ViewCrafter 论文： https://arxiv.org/abs/2409.02048 ViewCrafter  是一种创新的方法，由腾讯AI Lab联合北大、香港中文大学等高校开发，旨在通过结合视频扩散模型和基于点云的三维表示，从单个或稀疏图像合成高保真的新视角视频。 该方法利用视频扩散模型的强大生成能力，以及点云提供的粗糙三维线索，以生成具有精确相机姿态控制的高质量视频帧。ViewCrafter 通过迭代视图合成策略和相机轨迹规划算法，能够逐步扩展三维线索和新视角的覆盖区域，从而实现对更广泛场景的逼真渲染。 ViewCrafter 的特点在于其能够处理通用场景，并从有限的视角中合成新视角，这在以往的技术中是具有挑战性的。它不仅能够生成视觉上连贯且高保 ………………………………