文章预览
DeepMind新方法: 训练时间减少13倍,算力降低90% 来源:量子位 | 公众号 QbitAI 一水 发自 凹非寺 大幅节省算力资源,又又又有新解了!! DeepMind团队提出了一种新的 数据筛选方法 JEST—— 将AI训练时间减少13倍,并将算力需求降低90%。 简单来说 ,JEST是一种用于 联合选择最佳数据批次 进行训练的方法。 它就像一个智能的图书管理员,在一大堆书(数据)中挑选出最适合当前读者(模型)阅读的几本书 (数据批次) 。 这样做可以让读者更快地学到知识(训练模型),还能节省时间(减少迭代次数)和精力(减少计算量)。 研究显示 ,JEST大幅加速了大规模多模态预训练,与之前的最先进水平 (SigLIP) 相比,迭代次数和浮点运算次数 减少了10倍 。 对于上述结果,有网友惊呼: 新研究将成为AI训练的游戏规则改变者! 还有人点出了 关键 : 对于担
………………………………