ECCV 2024 | CityGaussian：VR/AR时代的城市重建新标杆

主要观点总结

本文主要介绍了一种新的实时大规模城市场景重建方法——CityGaussian算法。该算法基于3D Gaussian Splatting（3DGS）技术，针对大规模场景的重建提出了一种高效的并行训练算法以及快速的多细节层次（LoD）渲染算法。与传统的基于神经辐射场（NeRF）的隐式表征算法相比，CityGaussian算法具有更高的渲染质量、更快的训练及渲染速度，能提供更好的游览体验。此外，该算法还具有优秀的细节层次技术，能在不同视野范围内提供实时的渲染效果。

关键观点总结

关键观点1: CityGaussian算法基于3D Gaussian Splatting（3DGS）技术，用于大规模场景的重建。

这是一种新的实时三维场景重建方法，旨在提高渲染质量、训练及渲染速度。

关键观点2: CityGaussian算法提出了高效的并行训练方法和多细节层次（LoD）策略。

通过并行训练，可以提高训练效率；而多细节层次技术则可以在不同视野范围内提供实时的渲染效果。

关键观点3: 与传统的基于神经辐射场（NeRF）的隐式表征算法相比，CityGaussian算法具有更高的渲染质量。

NeRF算法在大规模场景下的细节还原度较低，而CityGaussian算法则通过3DGS技术提高了细节还原度。

关键观点4: CityGaussian算法在多个具有挑战性的场景测试中表现出优异的性能。

包括MatrxiCity、Mill19等多个测试场景，结果表明该方法在渲染质量以及实时性上显著优于已有的重建算法。

文章预览

大规模城市场景重建与实时渲染对国计民生的诸多领域具有重要价值，包括态势感知、空中搜索、自动驾驶仿真、文物景点保护、在线地图导航等。近期，我实验室在人工智能领域顶级会议ECCV 2024发布了一篇新工作，探讨 城市三维重建技术 。这篇工作提出了CityGaussian算法，能够基于无人机航拍数据对小至建筑物，大至2.5平方千米的城市进行逼真的三维重建，并使得消费级显卡上的训练时间从接近20小时压缩到数小时。 同时，基于我们所提出的LoD（Level of Detail）技术，能够实现在重建出的城市中以1080P以上的高清分辨率进行实时游览，这将给地图场景预览、VR及AR带来全新的使用体验。我们的方法在包括MatrxiCity、Mill19等多个具有挑战性的场景下进行了测试和评估，结果表明我们的方法在渲染质量以及实时性上显著优于已有的重建算法。 论文标题： Ci ………………………………