OmniH2O：通用灵巧的人-机器人全身遥操作和学习

文章预览

24年6月来自CMU和上海交大的论文“OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning”。 OmniH2O（Omni Human-to-Humanoid），这是一种基于学习的全身类人机器人遥操作和自主系统。OmniH2O 使用运动姿势作为通用控制界面，使人类能够以各种方式用灵巧的双手控制全尺寸的类人机器人，包括通过 VR 耳机、口头指令和 RGB 摄像头进行实时遥操作。OmniH2O 还可以通过从遥操作演示中学习或与 GPT-4o 等前沿模型集成来实现完全自主。OmniH2O 通过遥操作或自主操作展示各种现实世界全身任务的多功能性和灵活性，例如进行多种运动、移动和操纵目标以及与人类互动。本文开发基于 RL 的模拟-到-现实流水线，其中涉及大规模重定位和增强人体运动数据集，通过模仿特别教师策略，学习具有稀疏传感器输入的现实世界可部署策略，以及奖励设计以增强鲁 ………………………………