HOLODECK：语言引导生成 3D 具身 AI 环境

文章预览

CVPR‘24 来自 UPenn、斯坦福、华盛顿大学和 AI2 的论文“HOLODECK: Language Guided Generation of 3D Embodied AI Environments”。 3D 模拟环境在具身智能中起着至关重要的作用，但它们的创建需要专业知识和大量的手动工作，从而限制了它们的多样性和范围。 HOLODECK ，是一个可以完全自动生成 3D 环境以匹配用户提供的提示系统。HOLODECK 可以生成不同的场景，例如商场、水疗中心和博物馆，调整设计风格，并可以捕捉复杂查询的语义，例如“一个养猫研究员的公寓”和“一个星球大战迷教授的办公室”。HOLODECK 利用大语言模型（即 GPT-4）获取关于场景可能是什么样子的常识性知识，并使用来自 Objaverse 的大量 3D 资源来用各种目标填充场景。为了应对正确定位目标的挑战，提示 GPT-4 生成目标之间的空间关系约束，然后优化布局以满足这些约束。大规模人工评估表明， ………………………………