CoRL2024 聚焦「视听触感官」协同配合的具身智能操作

文章预览

在机器人操作物体的过程中，不同传感器数据携带的噪声会对预测控制造成怎样的影响？中国人民大学高瓴人工智能学院 GeWu 实验室、朝闻道机器人和 TeleAI 最近的合作研究揭示并指出了 “模态时变性”（Modality Temporality）现象，通过捕捉并刻画各个模态质量随物体操纵过程的变化，提升不同信息在具身多模态交互的感知质量，可显著改善精细物体操纵的表现。论文已被 CoRL2024 接收并选为 Oral Presentation。 人类在与环境互动时展现出了令人惊叹的感官协调能力。 以一位厨师为例，他不仅能够凭借直觉掌握食材添加的最佳时机，还能通过观察食物的颜色变化、倾听烹饪过程中的声音以及嗅闻食物的香气来精准调控火候，从而无缝地完成烹饪过程中的每一个复杂阶段。 这种能力，即在执行复杂且长时间的操作任务时，灵活运用不同的感官，是建立在对 ………………………………