前沿技术探索 | 基于跨模态学习的具身智能体训练

说在前面的话具身多模态智能体被认为是实现通用人工智能(AGI)的关键一步，拥有较大的应用潜力和前景[1]。今年以来大模型的爆发式增长，可以为具身智能体的脑力升级提供更强助力。目前具身智能体的场景化应用在业内尚处于早期孵化阶段，京东作为一家同时具备实体企业基因和属性、拥有数字技术和能力的新型实体企业，正在不断推动大模型从数字世界走向物理世界。我们在探索中发现，一种向平行文本世界中的LLM进行交互式模仿学习的方式，将更有利于多模态具身智能体训练，使其能够与世界动态对齐，从而在视觉世界中展现出较强的性能。下文将具体介绍该项研究的背景与训练方法。01研究背景：具身多模态智能体为什么需要进行跨模态模仿学习？/ Embodied AI)最近的研究越来越专注于利用大型预训练基础模型的能力来构建AI智能体。这些 ………………………………