DreamTech联合南大和牛津发布最强3D内容生成大模型——Direct3D

文章预览

‍ ‍ 点击下方 卡片 ，关注“ AIGC Studio ”      文章链接：https://arxiv.org/pdf/2405.14832 github链接：https://nju-3dv.github.io/projects/Direct3D/ 从文本和图像生成高质量的3D资产一直是一项挑战，主要是由于缺乏能够捕捉复杂几何分布的可扩展3D表示。在这项工作中，介绍了Direct3D，这是一种可扩展到in-the-wild输入图像的原生3D生成模型，不需要多视角扩散模型或SDS优化。 方法包括两个主要组件：Direct 3D Variational Auto-Encoder（D3D-VAE）和 Direct 3D Diffusion Transformer （D3D-DiT）。D3D-VAE高效地将高分辨率3D形状编码到紧凑且连续的三平面潜在空间中。 值得注意的是，该方法直接使用半连续表面采样策略对解码的几何形状进行监督，区别于依赖渲染图像作为监督信号的先前方法。D3D-DiT对编码的3D潜在分布建模，专门设计用于融合来自三平面潜在空间的三个特征图的位置信息 ………………………………