几秒生成逼真3D场景，泛化媲美Stable Diffusion | 浙大 & 蚂蚁等提出Prometheus

文章预览

↑ 点击 蓝字  关注极市平台 作者丨AI生成未来 来源丨AI生成未来 编辑丨极市平台 极市导读   浙大和蚂蚁集团提出的Prometheus模型，这是一种面向文本到3D生成的3D感知隐空间扩散模型，能够在几秒钟内生成逼真的3D场景。  >> 加入极市CV技术交流群，走在计算机视觉的最前沿 论文链接： https://arxiv.org/pdf/2412.21117 git链接： https://freemty.github.io/project-prometheus/ 亮点直击 Prometheus ，这是一种面向文本到3D生成的3D感知隐空间扩散模型，适用于对象和场景级别。 按照标准的隐空间扩散范式，将训练分为两个不同的阶段。在第一阶段，训练一个3D高斯变分自编码器（GS-VAE），它以多视角或单视角RGB-D图像为输入，预测每个像素对齐的3D高斯。在第二阶段，训练一个多视角LDM，联合预测多视角RGB-D隐空间code，并以相机姿态和文本提示为条件。 此外，本文的完整模 ………………………………