论文解读 | CVPR2024：Sherpa3D：通过粗略的3D先验提升高保真文本到3D生成

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 作者介绍 刘芳甫 ，清华大学博士生 内容简介 最近，通过利用2D和3D扩散模型，从文本提示创建3D内容取得了显著进展。虽然3D扩散模型确保了良好的几何一致性，但由于3D数据有限，其生成高质量和多样化3D内容的能力受到限制。相比之下，2D扩散模型通过一种提炼方法，在不使用任何3D数据的情况下实现了卓越的泛化能力和丰富的细节。然而，2D提升方法由于固有的视角不可知的模糊性，导致了严重的多面性问题，即文本提示无法提供足够的指导来学习一致的3D结果。我们没有重新训练一个昂贵的视点感知模型，而是研究如何充分利用易于获取的粗略3D先验知识来增强提示并引导2D提升优化进行细化。在本文中，我们提出了Sherpa3D，一个新的文本到3D框架，能够同时实现高保真度、通用性和几何一 ………………………………