大模型：混合专家模型（MoE）概述

文章预览

转自：AI大模型前沿 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 随着GPT-4、DeepSeekMoE等模型的发布中均涉及到了混合专家模型（MoE，Mixture of Experts）的话题，MoE 模型已经成为开放 AI 社区的热门话题。2023年6月，美国知名骇客George Hotz在接受采访时透露，GPT-4由8个220B的专家模型组成。假如把8个专家模型比喻为比GPT-3还大的脑袋，那GPT-4就是一个八个头的超级大怪兽。 GPT-4（MoE）比GPT-3（Transformer）和GPT-3.5（RLHF）强大一个数量级的关键，可能就是来源于MoE架构。之前的GPT大模型增大参数的方法是在一个GPT模型上堆层数，现在变成了堆模型数。将来大语言模型的研究新方向，可能就不是增大单一模型的向量维度和层数了，而是增大整体架构的模型数了。GPT-4引入MoE似乎是个必然，因为无论是算力、数据、稳定性，万亿级参数的单个大模型训 ………………………………