AI生成3D交互游戏场景！随意画个草图就能生成3D交互游戏场景！

文章预览

文章链接：https://arxiv.org/pdf/2408.04567 项目地址：https://xrvisionlabs.github.io/Sketch2Scene/ 亮点直击 可控的、基于草图指导的2D isometric图像生成流程。 一个基底图修补模型，通过在新数据集上进行逐步展开的去噪扩散训练。 基于学习的组合式3D场景理解模块。 一个程序化生成流程，用于使用上述场景理解模块获得的场景参数渲染互动3D场景。 3D内容生成是许多计算机图形应用的核心，包括视频游戏、电影制作、虚拟现实和增强现实等。本文提出了一种基于深度学习的创新方法，用于从用户的随意提示（如手绘草图）自动生成互动和可玩的3D游戏场景。基于草图的输入提供了一种自然且便捷的方式，以传达用户在内容创作过程中的设计意图。为了克服学习中的数据不足挑战（即缺乏大量的3D场景训练数据）， 本文的方法利用了预训练的2D去噪扩散模型来生成 ………………………………