高质量3D生成最有希望的一集？GaussianCube在三维生成中全面超越NeRF

文章预览

在三维生成建模的研究领域，现行的两大类 3D 表示方法要么基于拟合能力不足的隐式解码器，要么缺乏清晰定义的空间结构难以与主流的 3D 扩散技术融合。来自中科大、清华和微软亚洲研究院的研究人员提出了 GaussianCube，这是一种具有强大拟合能力的显式结构化三维表示，并且可以无缝应用于目前主流的 3D 扩散模型中。 GaussianCube 首先采用一种新颖的密度约束高斯拟合算法，该算法能够对 3D 资产进行高精度拟合，同时确保使用固定数量的自由高斯。随后，借助最优传输算法，这些高斯被重新排列到一个预定义的体素网格之中。得益于 GaussianCube 的结构化特性，研究者无需复杂的网络设计就能直接应用标准的 3D U-Net 作为扩散建模的主干网络。 更为关键的是，本文提出的新型拟合算法极大地增强了表示的紧凑性，在 3D 表示拟合质量相似的情况下所 ………………………………