RoboTwin：生成式数字孪生的双臂机器人基准

文章预览

致力于数字孪生体技术的研究与发展 通过解决方案和工程化应用造福人类 本文来自2024年9月，香港大学、松灵机器人、上海AI实验室、深圳大学和中科院自动化所发布论文：“RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins”。 双臂机器人的有效协作及其工具使用能力，是机器人技术进步中越来越重要的领域。这些技能在扩展机器人各种现实环境中运行能力的方面发挥着重要作用。然而，由于缺乏专门的训练数据，进展受到阻碍。RoboTwin，是一个基准数据集，它将现实世界的遥控数据与数字孪生的合成数据相结合，专为双臂机器人场景而设计。使用 COBOT Magic 平台，收集有关工具使用和人机交互的各种数据。提出一种使用 AI 生成内容创建数字孪生的方法，将 2D 图像转换为详细的 3D 模型。此外，利用大语言模型来生成面向功能的专家级训练数据和 ………………………………