AutoGLM-图形用户界面操作自主基础智能体技术详解

文章预览

我们介绍了AutoGLM，这是ChatGLM家族[11]中的新成员，旨在作为通过图形用户界面（GUI）自主控制数字设备的基础智能体。虽然基础模型在获取人类知识方面表现出色，但在动态现实世界环境中的决策制定方面常常遇到困难，限制了它们向人工通用智能的发展。这一限制强调了开发能够通过自主环境交互学习的基础智能体的重要性，以加强现有模型。专注于Web浏览器和手机作为代表性的GUI场景，我们开发了AutoGLM作为实际的基础智能体系统，用于现实世界的GUI交互。我们的方法整合了一系列技术和基础设施，以创建适合用户交付的可部署智能体系统。通过这一发展，我们得出了两个关键见解：首先，为GUI控制设计适当的“中间接口”至关重要，它使得规划和定位行为的分离成为可能，这些行为需要分别为灵活性和准确性进行优化。其次，我们开发了一种 ………………………………