​性能提高13倍、能耗降低10倍！谷歌 DeepMind 发表AI训练新方法

文章预览

谷歌的人工智能研究实验室 DeepMind 发表了关于训练 AI 模型的新研究，声称可以将训练速度和能源效率大大提高一个数量级，与其他方法相比，性能提高 13 倍，能效提高 10 倍。随着关于人工智能数据中心对环境影响的讨论升温，新的JEST训练方法及时出现。 DeepMind的方法被称为JEST，即联合样本选择（joint example selection），与传统的AI模型训练技术截然不同。典型的训练方法专注于单个数据点进行训练和学习，而JEST则基于整个批次进行训练。JEST方法首先创建一个较小的AI模型，用于从极高质量的来源中评估数据质量，并按质量对批次进行排名。然后，将这些评估结果与一个较大、质量较低的数据集进行比较。小型JEST模型确定最适合训练的批次，然后根据小模型的发现对大型模型进行训练。 这篇论文（ arxiv.org/pdf/2406.17711 ）对研究中使用的过程和研究 ………………………………