主要观点总结
本文主要介绍了AI Agent的实操视频在智谱公众号上的发布，以及AI Agent基于视觉语言模型（VLM）理解和处理来自屏幕截图的视觉信息以及用户指令的语言内容的能力。此外，还介绍了CogAgent论文和微软OmniParser论文的相关内容，包括模型的工作原理、实验评估等。最后，计算机团队介绍了相关分析师和免责声明等。
关键观点总结
关键观点1: AI Agent实操视频发布
智谱公众号陆续放出电脑版本与手机版本的AI Agent实操视频，包括总结百科发微信、旅游攻略/自动点餐等功能。
关键观点2: AI Agent基于视觉语言模型（VLM）
AI Agent能够理解和处理来自屏幕截图的视觉信息以及用户指令的语言内容，如理解当前屏幕信息和预测当前屏幕的下一个动作。
关键观点3: CogAgent的工作原理
CogAgent是一个专门用于理解和导航图形用户界面（GUI）的视觉语言模型（VLM）。它通过结合低分辨率和高分辨率的图像编码器，支持高达1120×1120分辨率的输入，并结合多个关键部分如双分辨率图像编码器、交叉注意力模块、预训练和微调、多任务微调和对齐等，来识别页面上的微小元素和文本。
关键观点4: 微软OmniParser的介绍
OmniParser是一个用于提升基于视觉的GUI代理系统性能的工具，它通过解析用户界面截图，将其转换成结构化的元素。研究人发现在屏幕解析阶段提取屏幕语义信息，可以减轻GPT-4V的负担，使其更专注于动作预测。
文章预览
AI Agent 近日，智谱在公众号陆续放出电脑版本与手机版本的AI Agent实操视频： 电脑版： 总结百科发微信、旅游攻略/自动点餐等 手机版： 只需接收简单的文字/语音指令，它就可以模拟人类操作手机。 理论上，AutoGLM 可以完成人类在电子设备上可以做的任何事，它不受限于简单的任务场景或 API 调用，也不需要用户手动搭建复杂繁琐的工作流，操作逻辑与人类类似。 据智谱微信公众号，上面这些工作，主要基于以下两项研究： 1、CogAgent： 一个替代终端用户 理解、使用图形用户界面（GUI） ，完成 信息获取 和 功能触发 的智能体，更具泛化性和拟人性，目前支持在 Windows、macOS 软件上进行自然语言交互（包括打字输入和语音输入）、截图交互和划词交互； 2、AutoGLM-Web： 一个能 模拟用户访问网页 、 点击网页的浏览器助手 ，可以根据用户
………………………………
