DeepMind新方法：训练时间减少13倍，算力降低90%

文章预览

一水 发自 凹非寺 量子位 | 公众号 QbitAI 大幅节省算力资源，又又又有新解了！！ DeepMind团队提出了一种新的 数据筛选方法 JEST—— 将AI训练时间减少13倍，并将算力需求降低90%。 简单来说 ，JEST是一种用于 联合选择最佳数据批次 进行训练的方法。 它就像一个智能的图书管理员，在一大堆书（数据）中挑选出最适合当前读者（模型）阅读的几本书 （数据批次） 。 这样做可以让读者更快地学到知识（训练模型），还能节省时间（减少迭代次数）和精力（减少计算量）。 研究显示 ，JEST大幅加速了大规模多模态预训练，与之前的最先进水平 （SigLIP） 相比，迭代次数和浮点运算次数 减少了10倍 。 对于上述结果，有网友惊呼： 新研究将成为AI训练的游戏规则改变者！ 还有人点出了 关键 ： 对于担心人工智能需求过高的电网来说，这可能是个极好的消 ………………………………