MoE 模型中的动态路由方法

文章预览

24年3月来自北大等机构的论文“Harder Tasks Need More Experts: Dynamic Routing in MoE Models”。 混合专家 (MoE) 模型的动态专家选择框架，旨在通过根据输入难度调整激活专家的数量来提高计算效率和模型性能。与传统的 MoE 方法不同，传统方法依赖于固定的 Top-K 路由，无论输入的复杂性如何，都会激活预定数量的专家，而动态路由方法则根据每个输入的专家选择置信度动态选择专家。这可以更有效地利用计算资源，为需要高级推理的复杂任务激活更多专家，为简单任务激活更少专家。该模型将更多专家分派到需要复杂推理技能的任务，如 BBH（Big Bench），证实了它能够根据输入的复杂性动态分配计算资源。特别是Transformer 模型不同层所需专家数量的变化。 代码和模型开源 GitHub - ZhenweiAn/Dynamic_MoE 具体来说，首先计算选择专家的概率分布。如果某个专家的最高 ………………………………