小米公司 Con 2024-Agent 技术在语音助手场景中的应用

文章预览

导读   本文将分享小米在 Agent 技术应用方面的一些工作。 主要内容包括以下三大方面： 1.  Agent 简介 2.  技术框架 3.   未来方向 分享嘉宾｜杞坚玮 小米科技有限公司 高级算法工程师 编辑整理｜华永奎 内容校对｜李瑶 出品社区｜ DataFun 01 Agent 简介 首先来介绍一下 Agent 技术。 1.  LLM-based Agent Agent 主要包括三个环节，即感知、思考和行动，所有 Agent 范式都大致一样。对于小米语音助手而言，环境变量主要来自于手机系统、家庭设备以及小米汽车的一些车载信息。来自用户的信息主要是小爱每天接收到的来自用户的各种查询请求。 在感知层，以前小爱只有文本的输入，随着大模型、多模态的发展，我们也在开展各种多模态输入的感知实验。比如提问小爱同学前面是什么车，这就利用到了图像的感知。在思考阶段，会有知识的注入，以及记忆的 ………………………………