比ChatGPT更牛！苹果新AI模型刷新交互体验！能看懂你的手机屏幕！平板和安卓机也都行

文章预览

夕小瑶科技说 原创 作者 | 小鹿 家人们，苹果一直在悄悄进步！ 近期，据小鹿观察，各大科技巨头不仅在提升模型解决复杂问题的能力上竞争激烈，而且还在大语言模型应用于用户界面（UI）交互方面上暗暗发力！ 最近，Anthropic对其Claude3.5 Sonnet的UI交互功能进行了升级，而微软则推出了开源工具OmniParser，旨在将屏幕内容转换为结构化数据，以便更有效地利用。 能不能一键丝滑地集成这些大语言模型到系统级应用中应该是各大巨头的下一个赛点了！ 苹果公司在产品交互上一直都坚持进步，今天小鹿发现苹果做了一个专门理解和与移动用户界面交互的模型Ferret-UI 2，这个模型不仅能“看懂”屏幕上的内容，还能理解用户的指令和问题，从而执行任务或提供信息。 意思是，这个模型用起来后能时刻观察你在手机屏幕上的一举一动，并时刻准备听你召唤 ………………………………