ManiSkill3：用于通用具身 AI 的 GPU 并行机器人模拟和渲染

文章预览

24年10月来自UCSD、CMU、HillBot、Dresden工大、清华大学和伦敦皇家学院的论文“ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI”。 模拟为机器人学习带来了前所未有的计算可扩展方法。然而，许多现有的模拟框架，通常支持狭窄的场景 / 任务范围，并且缺乏扩展通用机器人技术和 sim-2-real 的关键功能。开源 ManiSkill 3，是速度最快的状态-视觉 GPU 并行机器人模拟器，具有针对通用操纵的接触-丰富物理性。ManiSkill 3 支持许多方面的 GPU 并行化，包括模拟 + 渲染、异构模拟、点云 / 体素视觉输入等。与其他平台相比，在 ManiSkill3 上进行渲染模拟的运行速度可以提高 10-1000 倍，而 GPU 内存使用量减少 2-3 倍，由于系统中的 python/pytorch 开销最小、在 GPU 上进行模拟以及使用 SAPIEN 并行渲染系统，在基准环境中可实现高达 30,000+ FPS。过去需要 ………………………………