赋予机器人思考能力！北大提出自纠正多模态大模型，赋能端到端机器人操作

文章预览

为了构建机器人的大脑并模仿人类的思维方式， 本文创新性地引入了一个机器人自我纠正多模态大模型，名为 Self-Corrected (SC) -MLLM。 在机器人场景中，我们的工作首次实现了利用多模态大模型同时预测机械臂末端执行器的操纵位姿，并能自主识别和纠正失败的操作动作。除此之外，基于成功纠正的样本，SC-MLLM 还能进行持续性策略学习，构建了首个闭环自纠正机器人操纵代理框架。 该项目由北京大学的仉尚航团队（HMI 实验室）研究，作者包括北京大学博士生刘家铭、李忱轩、王冠群等。HMI 实验室长期致力于机器学习、多模态学习和具身智能领域的研究。 项目主页： https://sites.google.com/view/sc-mllm-web Github链接： https://github.com/2644521362/SC-MLLM 论文链接： https://arxiv.org/pdf/2405.17418 摘要（文章简介） 机器人操作策略在面对新的任务或对象时，表现出不理 ………………………………