可重打光的 3D 高斯：BRDF 分解和光线追踪的逼真点云重打光技术

文章预览

24年8月来自南京大学、复旦大学和华为诺亚实验室的论文“Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing”。 本文提出一种可微分点渲染框架来实现照片级真实感的重打光方法。为了使重建的场景可重打光，关联额外属性（包括法线向量、BRDF 参数和来自各个方向的入射光）来增强原始 3D 高斯。从一组多视图图像中，通过 3D Gaussian Splatting 优化 3D 场景，同时通过基于物理的可微分渲染分解 BRDF 和打光。为了在照片级真实感的重打光中产生合理的阴影效果，引入一种基于点的光线追踪和有边界的体分层结构，实现高效的可见性预计算。与最先进的方法相比，大量实验证明了改进的 BRDF 估计、新视图合成和重打光结果。所提出的框架展示了基于点的流水线实现编辑、跟踪和重打光的基于网格图形学流水线潜力。 如图所示： ………………………………