李飞飞「数字表兄弟」破解机器人训练难题！零样本sim2real成功率高达90%

文章预览

如何有效地将真实数据扩展到模拟数据，进行机器人学习？ 最近，李飞飞团队提出一种「数字表亲」的新方法，可以同时降低真实到模拟生成的成本，同时提高学习的普遍性。 项目主页：https://digital-cousins.github.io/ 论文地址：https://arxiv.org/abs/2410.07408 目前，论文已被CORL2024接收。 你可能会问，什么是「数字表亲」，有啥用呢？ 让我们把它跟数字孪生比较一下。 的确，数字孪生可以准确地对场景进行建模，然而它的生成成本实在太昂贵了，而且还无法提供泛化功能。 而另一方面，数字表亲虽然没有直接模拟现实世界的对应物，却仍然能够捕获相似的几何和语义功能。 这样，它就大大降低了生成类似虚拟环境的成本，同时通过提供类似训练场景的分布，提高了从模拟到真实域迁移的鲁棒性。 共同一作Tianyuan Dai表示，既然有免费的「数字表亲」了， ………………………………