登顶AndroidWorld！超越Claude 3.5，Aria-UI开启电脑与手机的智能操控新范式

文章预览

Rhymes AI 与港大合作发布了 Aria-UI，这是一款专为 GUI 智能体 Grounding 任务设计的大型多模态模型（LMM）。Aria-UI 使 AI 能够通过“观察”用户界面本身来完成复杂操作。 在数字智能体的关键测试基准  AndroidWorld   和  OSWorld 上，Aria-UI 搭配 GPT-4 分别取得了 第一名 和 第三名 的优异成绩，超越了 Claude 3.5 Sonnet Computer Use 智能体。作为一款仅激活 3.9B 参数的高效 MoE 模型，Aria-UI 支持在资源敏感环境中进行高效推理，展现出卓越的适应性和性能。 值得一提的是，Aria-UI 已完全开源其模型权重和训练数据。研究团队同时提供了基于 vLLM 和 Hugging Face Transformers 的推理方案，支持快速部署应用。 亮点： 🎯 精确的指令理解能力： Aria-UI 具备全面的基础指令处理能力，可灵活应对各类格式和场景需求，为智能规划和动态交互提供可靠支持。 🔍 强大的上下文感知 ………………………………