赋予机器人思考能力！SC-MLLM: 构建自我纠正多模态大模型赋能端到端机器人操作

文章预览

↑ 点击 蓝字  关注极市平台 编辑丨极市平台 极市导读   该论文首次构建面向机器人操纵的自纠正多模态大模型（SC-MLLM），实现了同时预测机械臂的操纵位姿，并能自主识别和纠正失败的操作动作。除此之外，基于成功纠正的样本，SC-MLLM还能进行持续性策略学习，构建了首个闭环自纠正机器人操纵代理框架。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 为了构建机器人的大脑并模仿人类的思维方式，本文创新性地引入了一个机器人自我纠正多模态大模型，名为Self-Corrected (SC)-MLLM。在机器人场景中，我们的工作首次实现了利用多模态大模型同时预测机械臂末端执行器的操纵位姿，并能自主识别和纠正失败的操作动作。除此之外，基于成功纠正的样本，SC-MLLM还能进行持续性策略学习，构建了首个闭环自纠正机器人操纵代理框架。 该项目由 ………………………………