主要观点总结
本文介绍了一种名为GraspSplats的高效操作框架,它使用三维高斯溅射(3DGS)进行抓取表示。GraspSplats能够高效地重建具有几何、纹理和语义监督的场景,并在准确性和效率方面都优于基线方法,实现了零样本部件级抓取。它通过结合特征增强和几何正则化构建了场景表示,支持语言引导的操作和静态及动态场景中的抓取采样。此外,GraspSplats还通过多视图目标跟踪与关键点优化,扩展到动态场景中的目标位移跟踪与部件级操作。实验表明,GraspSplats在真实机器人实验中的性能优于基于NeRF或基于点的方法。本文介绍了GraspSplats的方法定义、背景、问题和概述,以及其在静态和动态场景中的应用。
关键观点总结
文章预览
点击下方 卡片 ,关注“ 自动驾驶之心 ”公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >> 点击进入→ 自动驾驶之心 『 具身智能 』 技术交流群 编辑 | 自动驾驶之心 写在前面 机器人对物体部分进行高效且零样本抓取的能力对于实际应用至关重要,并且随着视觉语言模型(VLMs)的最新进展而变得越来越普遍。为了弥补支持这种能力的表示中的二维到三维差距,现有方法依赖于通过可微渲染或基于点的投影方法的神经场(NeRFs)。然而,我们证明NeRFs由于其隐式性而不适用于场景变化,而基于点的方法在没有基于渲染的优化的情况下,对于部件定位不准确。为了解决这些问题,我们提出了GraspSplats。通过使用深度监督和一种新颖的参考特征计算方法,GraspSplats在不到60秒的时间内生成高质量的场景表示。我们进一步通过展示GraspSplats中明确且优
………………………………