拉爆StreetGS！OmniRe：城市3D场景重建SOTA！60Hz计算全部动态物体！

主要观点总结

本文介绍了一种全新的动态城市场景重建方法OmniRe，能够从设备日志中高效重建高保真度的动态城市场景，包括静态背景、行驶车辆和非刚性移动动态角色。OmniRe基于高斯场景图表示，能够统一建模静态和动态元素，并通过构建多个局部规范空间来模拟各种动态角色。在Waymo数据集上的广泛评估表明，OmniRe在定量和定性上均优于之前的最先进方法。文章还介绍了OmniRe的基本原理、实验结果、贡献、局限性以及未来工作。

关键观点总结

关键观点1: OmniRe是一种全面的动态城市场景重建方法，能够高效地从设备日志中重建高保真度的动态城市场景。

OmniRe基于高斯场景图表示，能够统一建模静态和动态元素，包括静态背景、行驶车辆和非刚性移动动态角色，如行人和骑自行车者等。它通过构建多个局部规范空间来模拟各种动态角色的运动和行为。

关键观点2: OmniRe解决了从驾驶日志中建模人类和其他动态角色所面临的挑战，如遮挡、杂乱环境和现有人体姿态预测模型的局限性。

OmniRe通过采用不同的表示方法和策略，如基于模板的SMPL模型用于近距离行走的行人，自监督变形场重建远距离和其他无模板的动态角色，来解决这些挑战。

关键观点3: OmniRe在场景重建和新视角合成（NVS）任务上取得了最先进的性能。

广泛的实验和消融研究证明了OmniRe的优势，它在全图像指标上显著优于之前的方法，特别是在与动态角色相关的区域，如人和车辆。

关键观点4: OmniRe使用高斯场景图表示来解决全面的城市场景建模问题，具有快速、高质量的重建和渲染能力。

OmniRe为自动驾驶和机器人仿真提供了前景，并解决了自动驾驶中的一个重大问题——仿真。它旨在促进自动驾驶汽车的开发和测试，有可能带来更安全、更高效的自动驾驶系统。

文章预览

点击下方 卡片 ，关注 「3DCV」 公众号 选择 星标 ，干货第一时间送达 来源：3DCV 添加小助理：cv3d008，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。 扫描下方二维码，加入「 3D视觉从入门到精通 」知识星球 ，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料： 近20门独家秘制视频课程 、 最新顶会论文 、计算机视觉书籍 、 优质3D视觉算法源码 等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！ 0. 这篇文章干了啥？ 随着自动驾驶越来越多地采用端到端模型，对可扩展且无域差距的仿真环境的需求变得越来越明显，在这些环境中可以对这些系统进行闭环评估。虽然使用艺术家生成的资产的传统方式在规模、多样性和逼真性方面已达到极限，但生成数字孪生的数据驱动方法的进步通过从设备日志中重建仿真环境提 ………………………………