清华团队革新MoE架构！像搭积木一样构建大模型，提出新型类脑稀疏模块化架构

主要观点总结

本文探索了模块化在提升大模型效率方面的潜力，并介绍了清华大学及其合作单位提出的可配置基础模型（Configurable Foundation Model）。该架构通过模块的检索、组合、更新和增长实现复杂能力的组合，具有高效性、可复用性、可溯源性、可扩展性，更适合分布式计算。研究通过涌现模块与定制模块构成的大模型与传统稠密模型相比具有五大优势。同时，文章还介绍了一些关于大模型涌现模块和定制模块的分析研究。

关键观点总结

关键观点1: 模块化大模型的提出及其优势

清华大学等提出的可配置基础模型（Configurable Foundation Model）通过将大模型拆分为涌现模块和定制模块，提高了模型的效率、可复用性、可溯源性、可扩展性，并更适合分布式计算。

关键观点2: 涌现模块和定制模块的介绍

涌现模块是预训练过程中自发产生的功能分区的神经元，而定制模块是在后训练阶段形成的，用于增强模型的能力和补充额外的知识。这两种模块通过模块的检索、组合、更新和增长实现复杂能力的组合。

关键观点3: 大模型的模块化操作和优势

通过定义可配置的大模型架构，研究人员提出了四种主要的模块操作，包括检索与路由、组合、更新和增长。这些操作使得不同模块能够灵活地配合，实现复杂能力。相比于传统的稠密模型，可配置的大模型拥有五大优势。

关键观点4: 大模型的涌现模块分析

研究通过对通用生成式大模型进行涌现模块分析，发现神经元存在稀疏激活现象，功能分化特性明显，不同能力对应的神经元之间存在较低的重叠度。

关键观点5: 定制模块的应用和分析

定制模块包括知识插件、长文本记忆插件、加速插件等。这些插件通过参数化知识注入、高效的上下文记忆机制、推理加速等手段，有效地增强了模型的性能。同时，研究团队已经在大模型模块化架构方面开展了一系列研究工作，并取得了显著的成果。

文章预览

探索更高效的模型架构， MoE是最具代表性的方向之一。 MoE架构的主要优势是利用稀疏激活的性质，将大模型拆解成若干功能模块，每次计算仅激活其中一小部分，而保持其余模块不被使用，从而大大降低了模型的计算与学习成本，能够在同等计算量的情况下产生性能优势。 然而，此前像MoE等利用稀疏激活性质的研究工作，都认为大模型需要在预训练阶段就额外引入模块化结构约束。 如今，来自清华的一项最新研究打破了以上思维定式，并将MoE架构进行了革新。 具体而言，研究人员受启发于人脑高效的稀疏模块化架构，在论文《Configurable Foundation Models: Building LLMs from a Modular Perspective》中提出了一种类脑高效稀疏模块化架构： Configurable Foundation Model 。 该架构将大模型的模块拆分为预训练阶段产生的涌现模块（Emergent Brick）与后训练阶段产生的定制 ………………………………