多模态移动智能体基础与最新趋势调研：评估基准、核心组件、技术路线、发展趋势

文章预览

在智能手机和平板电脑等移动设备上，能够理解和执行复杂任务的智能体变得越来越重要。这些智能体需要能够实时适应不断变化的环境，并处理来自摄像头、麦克风和触摸屏等多种传感器的数据。本文的研究有助于推动智能体技术的发展，使它们更加智能和自适应，从而在日常生活中提供更多帮助。 移动智能体对于自动化复杂和动态的移动环境中的任务至关重要。 随着基础模型的发展，对于能够实时适应并处理多模态数据的智能体的需求不断增长。 本调查提供了移动智能体技术的全面回顾，重点关注最近的进步，这些进步增强了实时适应性和多模态交互。 最近开发的评估基准测试更好地捕捉了移动任务的静态和交互环境，提供了对智能体性能更准确的评估。 然后我们将这些进步归类为两种主要方法： 基于提示的方法，利用大型语言模型（LLMs ………………………………