鸡哥又上CV论文！单图生成3D模型，高质量且高效率新模型！

文章预览

大家好，今天和大家分享几篇最新的工作 1、 VividDreamer VividDreamer 是一个兼顾高质量和效率的文本生成3D资产的算法。更加具体来说就是，通过输入一句话，例如下图左上角的图片：输入 “A zoomed out DSLR photo of a corgi wearing a top hat” （戴着高顶礼帽的柯基犬的缩小照片），生成 柯基的3D模型。 实现思路： VividDreamer 的整体框架： 1、使用预训练的 Point-E（3D点云）和文本prompt初始化，并使用 3D Gaussian Splatting (3DGS) 作为 3D 表征 2、 在训练中，给定一个相机姿势 c，通过 3DGS 的渲染管道渲染相应的视图，并使用 DDPM/DDIM 反演将其扰乱为 2D 扩散模型 （扩散过程） 3、 采用提出的姿势相关一致性蒸馏采样 (PCDS)，通过几步（1-3）采样，将噪声映射到伪GT（例如 去噪后的图片） 4、 计算渲染视图和伪GT 之间的均方误差 (MSE) 损失 LP CDS，并通过等式中的梯度更新 ………………………………