又火两个惊艳的AI项目，已开源！

文章预览

大家好，今天继续聊聊科技圈发生的那些事。 一、Cradle Cradle，一款全新的框架，使大模型可以通过人类平时浏览的操作界面，执行复杂的计算机任务。 还记不记得，前些日子微软展示的，基于GPT-4o，让Copilot实时为你提供游戏操作建议？例如当你进行到游戏的某个步骤的时候，Copilot会建议你该做什么，并且给你提供相应的教程。 而 Cradle 以屏幕截图作为输入，以键盘和鼠标操作作为输出。这意味着什么？Cradle甚至能代替人工操作者，直接根据实时的截图，像人一样进行鼠标和键盘的操作！ Cradle 的框架实现大致分为以下几个步骤： 信息收集：Cradle 从视频片段中提取所有有用的视觉和文本信息（包括布局、图像、动画和UI元素等），以便理解当前情况并进行进一步推理。同时，通过OCR技术提取图像中的文本信息，包括内容（标题和段落）、导航标 ………………………………