边缘端如何部署大模型？香港大学等最新《移动边缘智能与大型语言模型》综述

文章预览

在设备上的大型语言模型（LLMs）指的是在边缘设备上运行LLMs，由于其卓越的隐私保护、降低的延迟和节省带宽而引起了极大的兴趣。然而，与强大的云中心相比，边缘设备的有限容量本质上限制了在设备上运行LLMs的能力。为弥补基于云和设备上的AI之间的差距，移动边缘智能（MEI）通过在移动网络边缘提供AI能力，相对于云计算，改善了隐私和延迟，从而提供了一种可行的解决方案。MEI位于设备上AI和基于云的AI之间，具有无线通信和比终端设备更强大的计算资源。本文提供了一个关于利用MEI进行LLMs的当代调查。我们首先介绍LLMs的基础知识，从LLMs和MEI开始，接着是资源高效的LLM技术。然 后，我们通过几个关键应用程序来展示在网络边缘部署LLMs的必要性，并提供MEI用于LLMs（MEI4LLM）的架构概述 。随后，我们深入探讨了MEI4LLM的各个方面，广泛覆盖 ………………………………