陈丹琦团队降本大法又来了：数据砍掉三分之一，性能却完全不减

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 量子位 作者 | 白小交 陈丹琦团队又带着他们的降本大法来了—— 数据砍掉三分之一，大模型性能却完全不减。 他们引入了元数据，加速了大模型预训练的同时，也不增加单独的计算开销。 在不同模型规模（600M - 8B）和训练数据来源的情况下，均能实现性能方面的提升。 虽然之前元数据谈过很多，但一作高天宇表示，他们是第一个展示它如何影响下游性能，以及具体如何实践以确保推理中具备普遍实用性。 来看看具体是如何做到的吧？ 元数据加速大模型预训练 语言模型预训练语料库中存在着风 ………………………………