英伟达等 DextrAH-RGB 使用灵巧手抓取任意物体的视觉运动策略 论文

主要观点总结

本文介绍了DextrAH-RGB，一个通过RGB输入实现端到端灵巧抓取的系统。系统在仿真中训练基于几何织物动作空间的教师策略，并通过强化学习在仿真中训练教师策略。随后，将教师策略蒸馏为基于立体RGB输入的学生策略，并同样在仿真中完成训练。该策略首次实现了端到端RGB策略从仿真到现实的稳健转移，适用于复杂、动态且接触丰富的任务，如灵巧抓取。策略能够推广到具有未知几何形状、纹理或光照条件的全新物体。

关键观点总结

关键观点1: 系统介绍

DextrAH-RGB是一个基于RGB输入实现端到端灵巧抓取的系统。通过仿真训练教师策略，并将其蒸馏为基于立体RGB输入的学生策略。

关键观点2: 训练过程

系统首先在仿真中训练基于几何织物动作空间的教师策略，然后通过强化学习在仿真中训练教师策略。随后，将教师策略蒸馏为基于立体RGB输入的学生策略，并在仿真中完成训练。

关键观点3: 转移效果

该策略首次实现了端到端RGB策略从仿真到现实的稳健转移，适用于复杂、动态且接触丰富的任务，如灵巧抓取。

关键观点4: 策略应用

策略能够推广到具有未知几何形状、纹理或光照条件的全新物体。

文章预览

（本文素材源于论文 2412.01791v1 ） 机器人最重要但又最具挑战性的技能之一是灵巧抓取各种形状和属性的物体。然而，许多现有研究受限于速度、灵巧性或对深度图的依赖。在本文中，我们提出了DextrAH-RGB，一个从立体RGB输入实现端到端灵巧臂手抓取的系统。我们通过强化学习在仿真中训练了一种基于几何织物动作空间的教师策略（FGP），以确保系统的反应性和安全性。随后，我们将这一教师FGP蒸馏为基于立体RGB输入的学生FGP策略，并同样在仿真中完成训练。据我们所知，这是首次成功实现端到端RGB策略的稳健sim2real（从仿真到现实）转移，适用于复杂、动态且接触丰富的任务，如灵巧抓取。我们的策略能够推广到具有未知几何形状、纹理或光照条件的全新物体。有关我们的系统抓取多种未知物体的视频，请访问：https://dextrah-rgb.github.io/  图1：Dextr ………………………………