视觉效果超赞！随意画个草图就能生成3D交互游戏场景！腾讯XR出品

文章预览

前言   本文的方法利用了预训练的2D去噪扩散模型来生成场景的2D图像作为概念指导。在这个过程中，采用isometric投影模式来去除未知的相机姿态，同时获取场景布局。通过生成的isometric图像，使用预训练的图像理解方法将图像分割成有意义的部分，如地面物体、树木和建筑，并提取2D场景布局。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 文章链接：https://arxiv.org/pdf/2408.04567 项目地址：https://xrvisionlabs.github.io/Sketch2Scene/ 亮点直击 可控的、基于草图指导的2D isometric图像生成流程。 一个基底图修补模型，通过在新数据集上进行逐步展开的去噪扩散训练。 基于学习的组合式3D场景理解模块。 一个程序化生成流程，用于使用上述场景理解模块获得的场景参数 ………………………………