文章预览
大规模混合专家（MoE）模型的出现标志着人工智能领域的一项重大进展，通过条件计算提供了更强的模型容量和计算效率。然而，这些模型的部署和推理在计算资源、延迟和能效方面提出了显著的挑战。本综述系统地分析了当前混合专家模型推理优化技术的全貌，涵盖了整个系统堆栈。我们首先建立了一个分类框架，将优化方法分为模型级、系统级和硬件级优化。 在模型级别，我们考察了包括高效专家设计、注意力机制、修剪、量化、知识蒸馏等各种压缩技术，以及动态路由策略和专家合并方法等算法改进的架构创新。系统级别上，我们研究了分布式计算方法、负载平衡机制和高效调度算法，这些方法使得可扩展部署成为可能。此外，我们还深入探讨了硬件特定的优化和协同设计策略，以最大化吞吐量和能效。 本综述不仅提供了现有解决方案的
………………………………
