微软亚研院最新研究：数据噪声对大模型预训练的影响

文章预览

点关注，不迷路，用心整理每一篇算法干货~ 后台留言” 交流 “， 加入圆圆算法交流群~ 后台留言” 干货 “， 获取干货算法笔记 ~ 后台回复“ 星球 ”，加入 圆圆算法知识星球~ （ 已有 810+ 同学加入学习） 今天这篇文章带大家了解一下微软亚研院于ICLR 2024中发表的一篇研究工作。这篇文章研究了数据噪声的多少对于模型预训练效果的影响，并分析了造成这些影响的原因，进一步提出了一种解决预训练数据噪声影响的问题。 论文标题 ：UNDERSTANDING AND MITIGATING THE LABEL NOISE IN PRE-TRAINING ON DOWNSTREAM TASKS 下载地址 ： https://arxiv.org/pdf/2309.17002 1 背景 预训练可以说是大模型时代的一个核心问题，很多场景都遵循pretrain-finetune的建模方式。但是，由于预训练阶段对数据量要求比较大，高质量数据又比较难以获取，因此预训练数据往往存在比较多的噪声。数据 ………………………………