“UC伯克利联合谷歌”推出{掌上全能助理}，“强化学习”赋能手机端Agent，效果直接炸裂！

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区！ “ 手机端Agent一直是近年来的热点话题，阿里先后推出的Mobile Agent v1与Mobile Agent v2更是将其推向了顶峰。 虽然 利用静态演示进行训练的方法已经显示出一些应用前景，但是这种方法在控制真实GUI时是不满足需求的，因为它们无法处理静态观测数据中没有捕捉到的真实世界的随机性信息。 本文介绍了一种新的自主RL方法，称为DigiRL。 它通过分两个阶段微调预先训练的VLM来训练设备控制代理：即初始化离线RL模型和离线到在线RL。 为此，作者构建了一个可扩展且可并行的安卓学习环境，配备了一个基于VLM的评估器，并开发了一种简单有效的RL方法来进行该领域的学习。 ” 项目主页 - https://digirl-agent.github.io/ 代码链接 - https://github.com/DigiRL-agent/digirl 论文链接 - https://arxiv.org/abs/2406.11896 01-视觉语言模 ………………………………