Mobile-Agent-v2：多模态多智能体系统显著提升端侧Agent任务成功率

文章预览

移动设备操作任务正逐渐成为流行的多模态人工智能应用场景。目前的多模态大型语言模型（MLLMs），由于训练数据的限制，缺乏作为操作助手有效运作的能力。相反，基于MLLM的智能体，通过工具调用增强能力，正逐渐应用于这一场景。然而，移动设备操作任务中的两个主要导航挑战——任务进度导航和焦点内容导航——在现有工作的单智能体架构下难以有效解决。这是由于过长的标记序列和交错的文本-图像数据格式限制了性能。为了有效解决这些导航挑战，我们提出了Mobile-Agent-v2，这是一个移动设备操作辅助的多智能体架构。该架构包括三个智能体：规划智能体、决策智能体和反思智能体。规划智能体将长篇的、交错的图文历史操作和屏幕摘要压缩成纯文本的任务进度，然后传递给决策智能体。这种上下文长度的减少使得决策智能体更容易导航 ………………………………