节省20倍计算量！上交大等发布ProX框架，用大模型优化大模型预训练数据

文章预览

前言   传统的预训练数据清洗和优化方法主要依赖人工设计的规则，虽然这些规则能够有效过滤低质量数据，但无法针对每个样本进行更细粒度的处理。这种方式难以处理复杂的多样化数据，最终可能导致模型性能的瓶颈。 Program-Every-Example (ProX) 的出现旨在改变这一局面，它通过 利用语言模型自动生成优化程序 ，能够 对每个数据样本进行个性化处理 ，提升数据的整体质量。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 作者：GAIR Lab 来源：PaperWeekly 单位：上海交通大学 仅用于学术分享，若侵权请联系删除 生成式人工智能研究实验室（GAIR，主页：https://plms.ai/）是国内首个聚焦于生成式人工智能的高校研究组。 汇聚了来自于 CMU、复旦、交大（ACM 班、 ………………………………