专栏名称: 量子位
վ'ᴗ' ի 追踪AI行业和技术动态,这里更快一步!关注我们,回复“今天”,更多大新闻等你来发现
今天看啥  ›  专栏  ›  量子位

抢先OpenAI“虚拟员工”!清华复旦斯坦福联手,让Agent接管电脑帮你工作

量子位  · 公众号  · AI  · 2025-01-14 12:18
    

主要观点总结

Eko团队开发了一个名为“Eko”的Agent开发框架,该框架能够让开发者用简洁的代码和自然语言快速构建可用于生产的“虚拟员工”:Agent。研究团队将Eko开源,并实现了跨平台使用。其核心技术创新包括混合智能体表示、跨平台Agent框架、生产级干预机制等。

关键观点总结

关键观点1: 研究团队和开源项目介绍

Eko团队由来自清华、复旦、斯坦福等的研究者组成,他们提出了一个名为“Eko”的Agent开发框架,并将之开源。这个项目是一项跨平台使用的创新技术。

关键观点2: Eko框架的核心技术创新

包括混合智能体表示、跨平台Agent框架、生产级干预机制等。其中,环境感知架构是跨平台开发的关键,它通过通用核心、环境特定工具和环境桥接三个层次实现。

关键观点3: Eko的应用实例

包括自动收集数据、自动化测试登录、清理文件等操作。这些操作通过Eko框架实现,具有显著的效果和效率。

关键观点4: 安全性和访问控制在Eko中的应用

Eko针对不同环境实施了适当的安全措施,如浏览器扩展和Web环境采用严格的权限控制和API密钥管理,而Node.js环境则允许更广泛的系统级访问。

关键观点5: Eko的层次化规划和多步合并优化

团队提出了层次化感知框架,将任务的拆解分为Planning layer和Execution layer。同时,当检测到两次执行都是对LLM的调用时,框架会触发自动合并机制,合并成一次调用,从而加快推理速度。

关键观点6: 视觉-交互要素联合感知(VIEP)在Eko中的应用

VIEP是一种新颖的浏览器感知解决方案,通过将视觉识别与元素上下文信息结合,提高了在复杂网页中的任务精度和效率。它简化了元素的表征,优化了性能,降低了成本,并提升了跨环境适应性。

关键观点7: 生产级的可干预机制在Eko中的应用

Eko提供三种不同层级的钩子,帮助开发者实时优化工作流,提高自动化系统的精度和效率。这些钩子包括工作流钩子、子任务钩子和工具钩子,每个层级都具有独特的作用。


文章预览

Eko团队 投稿 量子位 | 公众号 QbitAI 抢先OpenAI的 “Operator” ,清华、复旦、斯坦福等研究者联合起来整了个大活~ 他们提出了一个名为“ Eko ”的Agent开发框架,开发者只需用简洁的代码和自然语言,就能快速构建可用于生产的“虚拟员工”: Agent可以接管用户的电脑和浏览器,代替人类完成各种任务。 而这个操作,正是之前OpenAI被爆出的“Operator”所能实现的。爆料称OpenAI将会这个月发布“Operator”,现在直接被截胡了。 更为关键的是,研究团队还把Eko给 开源 了。 来看看Eko是如何让工作流程自动化的。 比如自动在雅虎财经上收集纳斯达克的最新数据,包括主要股票的价格变化、市值、交易量,分析数据并生成可视化报告: 再例如: 当前登录页面自动化测试: 正确的账户和密码是:admin / 666666 请随机组合用户名和密码进行测试,以验证登录验 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览