提速199倍！清华&哈佛发布三维语义高斯泼溅LangSplat｜CVPR‘24 Highlight

文章预览

LangSplat团队 投稿 量子位 | 公众号 QbitAI 入选CVPR 2024 Highlight的三维语义高斯泼溅最新成果，查询速度比之前的SOTA方法LERF快了 199倍 ！ 清华 & 哈佛团队提出 LangSplat ，在开放文本目标定位和语义分割任务上达到SOTA性能。 该工作目前在𝕏（Twitter）上受到广泛关注，论文视频累计浏览量超过100,000，论文代码已开源。 结合三维高斯泼溅技术重建三维语义场 人类生活在一个三维世界中，并通过文本语言描述三维场景。构建三维语义场以支持在三维空间中的开放文本查询最近越来越受到关注。 LangSplat方法结合三维高斯泼溅技术重建三维语义场，能够实现准确高效的开放文本查询。 现有方法在NeRF的基础上嵌入CLIP语义特征，LangSplat则通过结合三维高斯泼溅，在每个高斯点上编码了从CLIP提取的语义特征。 LangSpla采用tile-based的三维高斯泼溅技术来渲染语义特征 ………………………………