微软OmniParser开源，屏幕解析力压GPT-4V，带飞电脑控制Agent！

主要观点总结

本文介绍了Anthropic发布的超级Agent引起的热潮，以及微软OmniParser开源项目的情况。OmniParser是一个屏幕解析工具，可将用户界面(UI)的屏幕截图解释/转换为结构化格式，旨在提高基于大型语言模型（LLM）的用户界面代理的性能。训练数据集包括可交互图标检测数据集和图标描述数据集。OmniParser在多个基准测试中表现出优于GPT-4V的性能。

关键观点总结

关键观点1: Anthropic发布超级Agent引起热潮

介绍Anthropic发布的超级Agent，它能带来“像人一样操控电脑”的体验。

关键观点2: 微软OmniParser开源项目介绍

OmniParser是一个屏幕解析工具，用于将用户界面(UI)的屏幕截图转换为结构化格式，旨在提高用户界面代理的性能。它包括可交互图标检测数据集和图标描述数据集。

关键观点3: OmniParser性能优越

OmniParser在多个基准测试中表现出优于GPT-4V的性能，例如ScreenSpot基准测试、Mind2Web和AITW基准测试。

文章预览

自 Anthropic 深夜发布重大更新，带来超级Agent： computer use ，一时间带来了一股“像人一样操控电脑”的热潮，像智谱也发布 一句指令自动操作电脑、手机的 AutoGLM 。 超级Agent：像人一样操控电脑！ 近日 微软OmniParser 开源，专为电脑、手机屏幕UI解析而生，据称其效果在相关屏幕理解评测基准上超过GPT-4V。 OmniParser 是一个通用的屏幕解析工具，它将用户界面(UI)的屏幕截图解释/转换为结构化格式，以提高基于现有大型语言模型(LLM)的用户界面代理的性能。训练数据集包括： 一个可交互图标检测数据集，该数据集从流行的网页中收集并自动标注，以突出可点击和可操作的区域； 一个图标描述数据集，旨在将每个用户界面元素与其相应的功能关联起来。 这个模型中心包括一个在上述数据集上微调过的 YOLOv8 版本和一个微调过的 BLIP-2 模型。 OmniParser ………………………………