文章预览
近期的大语言模型(LLMs)使得可以开发出能够通过调用功能来整合各种工具和API,以完成用户查询的高级智能体系统。然而,这些LLMs在边缘的部署尚未被探索,因为它们通常需要基于云的基础设施,这是由于它们庞大的模型尺寸和计算需求。为此,我们提出了TinyAgent,一个端到端的框架,用于训练和部署能够调用功能的特定任务小型语言模型智能体,以在边缘驱动智能体系统。我们首先展示了如何通过LLMCompiler框架启用开源模型的准确功能调用。然后,我们系统地策划了一个高质量的功能调用数据集,我们使用这个数据集对两个小型语言模型进行了微调,即TinyAgent-1.1B和7B。为了高效的推理,我们引入了一种新颖的工具检索方法来减少输入提示的长度,并利用量化进一步加速推理速度。作为一个驱动应用,我们展示了一个本地类似Siri的系统,用于
………………………………