Mobile-Agent-v2：GPT4v + 多Agent提高40%准确率

文章预览

Mobile-Agent-v2：GPT4v + 多Agent提高40%准确率 发布时间：2024 年 06 月 03 日 Agent应用 Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration 移动设备操作任务正成为多模态 AI 应用的新宠。尽管多模态大型语言模型（MLLMs）受限于训练数据，难以有效担任操作助手，但通过工具调用增强能力的 MLLM 基代理正逐步进入这一领域。然而，在现有单一代理架构下，任务进度导航和焦点内容导航两大挑战变得异常复杂，主要受限于过长的令牌序列和交错的文本-图像数据格式。为此，我们推出了 Mobile-Agent-v2，一种专为移动设备操作辅助设计的多代理架构，包含规划、决策和反思三个代理。规划代理优化历史操作导航，记忆单元随任务进度更新以保持焦点内容，反思代理则负责纠正操作错误。实验显示，Mobile-Agent-v2 相比单一代理架构，任务 ………………………………