整理自然语言处理、推荐系统、搜索引擎等AI领域的入门笔记,论文学习笔记和面试资料(关于NLP那些你不知道的事、关于推荐系统那些你不知道的事、NLP百面百搭、推荐系统百面百搭、搜索引擎百面百搭)
目录
相关文章推荐
今天看啥  ›  专栏  ›  关于NLP那些你不知道的事

Mobile-Agent-v2:多模态多智能体系统显著提升端侧Agent任务成功率

关于NLP那些你不知道的事  · 公众号  ·  · 2024-06-24 19:56
    

文章预览

移动设备操作任务正逐渐成为流行的多模态人工智能应用场景。目前的多模态大型语言模型(MLLMs),由于训练数据的限制,缺乏作为操作助手有效运作的能力。相反,基于MLLM的智能体,通过工具调用增强能力,正逐渐应用于这一场景。然而,移动设备操作任务中的两个主要导航挑战——任务进度导航和焦点内容导航——在现有工作的单智能体架构下难以有效解决。这是由于过长的标记序列和交错的文本-图像数据格式限制了性能。为了有效解决这些导航挑战,我们提出了Mobile-Agent-v2,这是一个移动设备操作辅助的多智能体架构。该架构包括三个智能体:规划智能体、决策智能体和反思智能体。规划智能体将长篇的、交错的图文历史操作和屏幕摘要压缩成纯文本的任务进度,然后传递给决策智能体。这种上下文长度的减少使得决策智能体更容易导航 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览