边缘大型语言模型综述：设计、执行与应用

文章预览

大型语言模型（LLMs）以其卓越的能力彻底改变了自然语言处理。然而，由于计算资源有限、内存约束以及边缘硬件异构性，将LLMs部署在资源受限的边缘设备上面临重大挑战。本文综述了边缘LLMs在其生命周期中的最新发展，重点探讨了从部署前技术到运行时优化的资源高效设计。此外，还探讨了LLMs在个人、企业和工业场景中的设备端应用。通过总结最新进展并指出未来的研究方向，本综述旨在为LLMs在边缘设备上的部署提供全面的理解，弥合其巨大潜力与边缘计算限制之间的差距。 1 引言 基于Transformer的大型语言模型（LLMs）近年来取得了重大进展，彻底改变了自然语言处理（NLP）领域。随着这一快速进步，多个开源LLM陆续涌现，包括Meta的Llama系列[5, 185, 186]、Mistral AI的Mistral系列[80, 81]以及Google的Gemma[180, 188]。LLM的成功归因于其在自然语言理解和生 ………………………………