大语言模型移动边缘智能技术全面综述：技术背景、端云协同、部署框架、经验总结

文章预览

在边缘设备上运行大型语言模型（LLMs）引起了相当大的兴趣，因为它们在隐私保护、降低延迟和节省带宽方面具有优势。尽管如此，与功能强大的云计算中心相比，设备本身的有限容量内在地限制了在设备上LLMs的能力。为了弥合基于云的和在设备上的AI之间的差距，移动边缘智能（MEI）提供了一种可行的解决方案，通过在移动网络边缘提供AI能力，与云计算相比具有更好的隐私和延迟表现。MEI介于在设备上的AI和基于云的AI之间，具有无线通信能力，并且比终端设备拥有更强大的计算资源。本文提供了一项关于利用MEI进行LLMs的现代综述。我们首先涵盖了LLMs的基础知识，从LLMs和MEI开始，随后是资源高效的LLM技术。然后，我们展示了几个关键应用，以证明在网络边缘部署LLMs的需求，并提出了MEI用于LLMs（MEI4LLM）的架构概览。接着，我们深入探讨了MEI4LL ………………………………