比LERF提速199倍！清华哈佛发布LangSplat：三维语义高斯泼溅 | CVPR 2024 Highlight

文章预览

   新智元报道   编辑：LRST 【新智元导读】 本文将为大家介绍CVPR 2024 Highlight的论文LangSplat: 3D Language Gaussian Splatting（三维语义高斯泼溅）。LangSplat在开放文本目标定位和语义分割任务上达到SOTA性能。在1440×1080分辨率的图像上，查询速度比之前的SOTA方法LERF快了199倍。代码已开源。 人类生活在一个三维世界中，并通过文本语言描述三维场景，构建三维语义场以支持在三维空间中的开放文本查询最近越来越受到关注。 最近，来自清华大学和哈佛大学的研究人员共同提出了LangSplat，该方法结合三维高斯泼溅技术重建三维语义场，能够实现准确高效的开放文本查询。现有方法在NeRF的基础上嵌入CLIP语义特征，LangSplat则通过结合三维高斯泼溅，在每个高斯点上编码了从CLIP提取的语义特征。 Project Page: https://langsplat.github.io/ Paper: https://arxiv.org/pdf/2312.16084.p ………………………………