高质量3D Gaussian-Splatting场景重建及低延迟重渲染技术

文章预览

    近期，火山引擎多媒体实验室团队提出了一种高质量3D Gaussian-Splatting场景重建及低延迟重渲染技术，用于对场景进行高质量的重建，并支持复杂的重打光及实时渲染。该及时已经实际应用在虚拟直播等VR/AR/XR应用中。同时，该技术被图形学顶会SIGGRAPH 24收录，并被邀请在 NeRFs and Lighting session做正式汇报。 01 研究背景     随着虚拟现实（VR）和增强现实（AR）的快速发中，高质量的三维重建和三维渲染显得尤为重要。3D Gaussian Splatting的出现最近在神经渲染领域引起了一场革命，该技术将点云表示为3D高斯函数，使用可微分的光栅化进行渲染和优化，进而实现了高质量的新视角实时渲染。然而，与成熟的基于网格的渲染管线相比，GS在生成复杂的阴影和动态照明效果方面仍面临挑战。为了解决该问题，火山引擎研究团队提出了一种几何增强的3D Gaussian ………………………………