破解ChatGPT惊人耗电！DeepMind新算法训练提效13倍，能耗暴降10倍

文章预览

来源 | 新智元 ID | AI-era ChatGPT早已成为世界耗能大户：一天用掉超50万度电，相当于1.7万个美国家庭的用电量！ 然而，大模型对能源的吞噬，远不仅如此。 国际能源署（IEA）预测，从2022年到2026年，数据中心的用电量将翻一番。 随着AI计算需求的膨胀，还需要用水来冷却计算系统。研究称，微软用水量从2021年到22年飙升了34%，ChatGPT每处理5-50个提示就会消耗接近半升水。 针对这种现状，我们有更好的解决策略吗？ 最近，谷歌DeepMind研究团队提出了一种加快AI训练的新方法——多模态对比学习与联合示例选择（JEST），大大减少了所需的计算资源和时间。 JEST以13倍更少的迭代次数，以及10倍更少的计算量，超越了最先进的模型！ 论文地址：https://arxiv.org/pdf/2406.17711 预训练的参考模型，已经学习了什么样的数据是有「优质的」或「有用的」。然后通过模 ………………………………