216-B2｜将2D视觉特征提升至3DGS，3D高斯与神经SDF联合优化，方向感知表示提高4D重建；自然语言生成人类动作｜Mon

文章预览

AIGC   Research 主编｜ 庄才林（Cailin Zhuang） 技术支持｜胡耀淇（Yaoqi Hu） Topic: 3D Reconstruction｜3DGS｜ 1. 2D Visual features 2. SDF LUDVIG: Learning-free Uplifting of 2D Visual features to Gaussian Splatting scenes 2024-10-18｜Univ. Grenoble Alpes, NAVER LABS Europe｜ 🟡 http://arxiv.org/abs/2410.14462v1 概述 本文提出了一种新的方法LUDVIG， 旨在将2D视觉特征或语义掩码提升（uplifting）到通过高斯涂抹（Gaussian Splatting）表示的3D场景中 。与常见的依赖于迭代优化的程序不同，LUDVIG采用了一种简单而有效的聚合技术，取得了出色的效果。通过将Segment Anything（SAM）生成的语义掩码应用于该方法，结果显示其分割质量与当前最先进的技术相当。此外，本文还将该方法扩展到通用的DINOv2特征，通过图形扩散（graph diffusion）集成3D场景几何信息，尽管DINOv2并未经过数百万标注掩码的训练，但仍能在分割任务 ………………………………