EgoExoLearn：一个桥接现实世界中程序活动的异步以自我为中心和以外部为中心视图的数据集

文章预览

24年6月来自上海AI实验室的论文“EgoExoLearn: A Dataset for Bridging Asynchronous Ego- and Exo-centric View of Procedural Activities in Real World”。 能够将他人的活动映射到自我的视角中是人类从很小的时候就具备的一项基本技能。为了进一步了解人类的这种能力，引入 EgoExoLearn，这是一个模拟人类示范过程的大型数据集，在这个过程中，在执行由外部为中心视图示范视频指导的任务时，个人录制以自我中心视图的视频。EgoExoLearn 专注于日常协助和专业支持方面的潜在应用，包含在日常生活场景和专业实验室中拍摄的长达 120 小时以自我中心视图和示范视频数据。除了视频之外，还记录了高质量的凝视数据并提供详细的多模态注释，制定了一个平台去建模人类能力，其从不同视角桥接异步的程序动作。为此，提出跨视图关联、跨视图行动规划和跨视图参考技能评估等基准 ………………………………