哈工深团队提出多模态智能体Optimus-1，在MineCraft长序列任务表现接近人类水平

文章预览

构造一个能像人类一样推理、规划、反思、并执行各种复杂任务的智能体一直是人工智能领域的长久愿景。 近年来多模态大模型的发展为智能体领域的研究带来了新的契机。但是，现有的智能体在开放世界中执行复杂任务的能力与人类仍有较大差距。 哈尔滨工业大学（深圳） 聂礼强 团队，受到人类大脑及认知科学相关理论研究的启发，即“知识和经验的储存和利用在指导人类的行为和让人类灵活适应环境以完成长序列任务发挥着至关重要的作用”，致力于研究如何构建能存储知识和经验的记忆模块，并通过记忆模块为智能体执行各种复杂任务赋能。 在近期一项研究中，课题组提出一种混合多模态记忆模块，该模块包含结构化知识（HDKG，Hierarchical Directed Knowledge Graph）和多模态经验（AMEP，Abstracted Multimodal Experience Pool），能够为智能体在规划和反 ………………………………