本周大模型Top热门论文精选 —— 24年第24期

文章预览

前言： 论文可以让你更快地了解最新研究进展，掌握最新的技术和理论。这对于自身的科研能力和竞争力非常重要，尤其是在快速发展的学科领域，下面小编带你来看大模型最近的研究成果。 1. MATES：基于数据影响模型的模型感知数据选择以提高预训练效率   标题： MATES: Model-Aware Data Selection for Efficient Pretraining with Data Influence Models   机构： 卡内基梅隆大学   相关领域： 预训练、数据选择   作者： Zichun Yu,  Spandan Das,  Chenyan Xiong   分析： 本文介绍了模型感知数据选择方法MATES，该方法通过数据影响模型持续适应预训练模型在预训练过程中的数据偏好变化，从而选择最有效的数据进行预训练。具体而言，通过微调一个小型的数据影响模型来近似预训练模型的数据偏好信号，并据此选择下一阶段预训练所需的数据。实验结果表明，MATES在多种下 ………………………………