9天即完成预训练并超越sota，1.5-Pints 技术报告发布！关于直接偏好优化下模型泛化能力的研究

文章预览

前言： 平淡无奇的一天又来了，今天要分享的内容主要是关于大语言模型、大模型、模型结构改进的，喜欢的小伙伴赶紧去阅读相关论文吧。 1. 1.5-Pints 技术报告：以高质量数据驱动，在数天内完成预训练   标题： 1.5-Pints Technical Report: Pretraining in Days, Not Months -- Your Language Model Thrives on Quality Data   相关领域： 大模型、预训练   作者： Calvin Tan,  Jerome Wang   分析： 这篇论文提出了一种计算效率高的语言模型预训练方法，名为“1.5-Pints”，仅需9天即可完成预训练，并且在作为指令跟随助理的性能上超越了当前最先进的模型。该方法基于MT-Bench(一个模拟人类判断的基准),1.5-Pints在Apple的OpenELM和Microsoft的Phi上表现优秀。通过精心挑选的570亿个标记的预训练数据集，结合自动化工作流程和人工审查，该数据集优先选择被认为是描述性和“教科书式” ………………………………