150B token从头训练，普林斯顿Meta发布完全可微MoE架构Lory

文章预览

不同于大多数模型使用字母缩略起名，论文作者在脚注中解释道，Lory是一种羽毛有彩虹颜色的鹦鹉，和「软MoE」的精神非常相似。 论文的作者团队也可以称之为「明星阵容」。 论文地址：https://arxiv.org/abs/2405.03133 主要作者之一陈丹琦是普林斯顿大学计算机科学系的助理教授，也是普林斯顿NLP小组共同领导人之一。她本科毕业于清华大学姚班，2018年在斯坦福大学获得博士学位，导师是大名鼎鼎的Christopher Manning。 斯坦福教授、NLP领域泰斗Dan Jurafsky曾这样评价她：「她在发现重要的研究问题上很有品位。她已经对该领域产生了非凡的影响，并且她的影响只会越来越大。」 Mike Lewis是Meta AI的一名研究科学家，他领导了Meta刚发布的大语言模型Llama 3的预训练工作。 他此前曾发表过多项有影响力的研究成果，包括Bart、Roberta、top-k采样等。 本文的第一作者 ………………………………