可微分的机器人渲染

文章预览

24年10月来自斯坦福大学（哥伦比亚大学）的论文“Differentiable Robot Rendering”。 在大量视觉数据上训练的视觉基础模型，在开放世界环境中展现出了前所未有的推理和规划技能。将它们应用于机器人任务的一个关键挑战，是视觉数据和动作数据之间的模态差距。可微分机器人渲染，允许机器人身体的视觉外观相对于其控制参数直接可微分。该模型集成了运动学-觉察可变形模型和高斯 Splatting，并且与任何机器人外形和自由度兼容。应用例子包括从图像重建机器人姿势和通过视觉语言模型控制机器人。定量和定性结果表明，可微分渲染模型直接从像素为机器人控制提供有效的梯度，为视觉基础模型在机器人技术中的未来应用奠定基础。 如图所示：机器人可微分渲染（Dr. Robot），一种从视觉外观到控制参数完全可微分的机器人自模型。有了它，通过视 ………………………………