双臂机器人操作扩散大模型RDT

文章预览

近日清华人工智能研究院RSAIL发布了针对双臂机器人操作任务的扩散基础模型RDT （Robotics Diffusion Transformer）。该模型通过结合扩散模型和Transformer架构，可有效处理多模态输入，并获取机器人数据的非线性和高频特性。同时针对训练数据稀缺的问题，论文提出了物理可解释的统一动作空间，统一不同类型机器人的动作表示，同时保留原始动作的物理意义。 RDT在当前最大的多机器人数据集A上进行预训练，并在自建的多任务双臂数据集B上做微调。RDT在少样本学习能力/泛化能力/指令理解和执行等方面表现优异，使得其在一定程度上能够摆脱人类的操控，自主完成未见过的任务。  欢迎加入自动驾驶实战群 多机器人数据集 A：目的是让模型能够学习到跨机器人平台的通用知识和技能，从而提高模型泛化能力。包含来自不同机器人平台的数据，这些机器人 ………………………………