Holo-Dex：通过沉浸式混合现实教学机器人灵活性

文章预览

22年10月来自NYU和Meta的论文“Holo-Dex: Teaching Dexterity with Immersive Mixed Reality”。 教学机器人的一个基本挑战，是提供有效的界面让人类老师向机器人展示有用的技能。这一挑战在灵巧操作中更加严峻，因为教授高维、接触丰富的行为通常需要隐秘（esoteric）的遥控工具。这项工作提出 HOLO-DEX，一个灵巧操作的框架，通过商用 VR 耳机将老师置于沉浸式混合现实中。耳机上的高保真手势估计器，用于遥控机器人并收集各种通用灵巧任务的演示。根据这些演示，用强大的特征学习结合非参数模仿来训练灵巧技能。对六种常见灵巧任务（包括手中旋转、旋转和开瓶）的实验表明，HOLO-DEX 既可以收集高质量的演示数据，又可以在数小时内训练技能。实验中训练的技能可以在训练中未见过目标上表现出泛化能力。 如何为机器人收集训练数据？一种选择是通过自监 ………………………………