专栏名称: 旺知识
AI技术最新进展、发展趋势、研发经验、从业经验
今天看啥  ›  专栏  ›  旺知识

边缘智能革命:TinyAgent实现端侧复杂功能调用智能体

旺知识  · 公众号  ·  · 2024-09-07 20:52

文章预览

近期的大语言模型(LLMs)使得可以开发出能够通过调用功能来整合各种工具和API,以完成用户查询的高级智能体系统。然而,这些LLMs在边缘的部署尚未被探索,因为它们通常需要基于云的基础设施,这是由于它们庞大的模型尺寸和计算需求。为此,我们提出了TinyAgent,一个端到端的框架,用于训练和部署能够调用功能的特定任务小型语言模型智能体,以在边缘驱动智能体系统。我们首先展示了如何通过LLMCompiler框架启用开源模型的准确功能调用。然后,我们系统地策划了一个高质量的功能调用数据集,我们使用这个数据集对两个小型语言模型进行了微调,即TinyAgent-1.1B和7B。为了高效的推理,我们引入了一种新颖的工具检索方法来减少输入提示的长度,并利用量化进一步加速推理速度。作为一个驱动应用,我们展示了一个本地类似Siri的系统,用于 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览