清华&北大&上交携手“重塑机器视觉边界”，Maniwhere让机器人无缝适应多变世界环境！

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区， 用心写好每一篇文章！ “ Visuomotor控制任务给机器人专家带来了一个棘手的问题，硬件设置会严重影响机器人策略的性能。一个典型的例子来自不可移动的摄像头问题，设想一个经过仔细校准的视觉传感器，精心定位来实现无缝的现实世界部署，却被实验室伙伴打扰。 虽然先前的工作试图解决视觉场景变化的挑战， 但这些研究主要集中在解决一个方面，无法同时处理多种视觉泛化类型。同时，将各种归纳偏见纳入训练过程也并非易事。 本文提出了 Maniwhere，这是一个为视觉强化学习量身定制的可推广框架，使得训练好的机器人策略能够在多种视觉干扰类型的组合中推广。 作者引入了一种与空间变换网络（STN）模块融合的多视图表示学习方法，用来捕获不同视点之间的共享语义信息和对应关系 ………………………………