RSS 2024满分论文分享 详细解读清华大学高阳研究组ATM框架

文章预览

机器人掌握一项新技能需要几步？             一般来说，在传统机器学习方法中，通常使用演示学习的方式教会机器人掌握新技能， 然而，收集高质量的演示数据成本高且耗时，一定程度上影响了机器人技能学习进度。 尽管视频作为一种包含丰富行为、物理和语义知识的数据源，能够为机器人提供原始的学习资料，但 由于视频通常缺乏动作标签，直接从视频中提取用于策略学习的控制信息非常困难。 虽然目前Sim to Real可以利用模拟环境生成的大量数据来训练模型，但依旧难以解决模型在真实环境中的泛化能力。                             近日， 清华大学交叉信息研究院高阳研究组 针对传统方法收集演示数据成本高、耗时长，以及视频数据缺乏动作标签难以直接用于策略学习的问题， 提出了一种创新的Any-point Trajectory Model（ATM）框架。 ………………………………