Scaling Law或将终结？哈佛MIT预警：低精度量化已无路可走，重磅研究掀翻AI圈

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 新智元 编辑 | 桃子 LRS 就连「量化」也不管用，scaling law真的要终结了吗？ 一提scaling law，人们重点关注的是参数规模、数据量等因素，却忽视了「精度」这一关键变量。 哈佛斯坦福MIT等机构研究人员竟发现，低精度训练会降低模型的「有效参数量」！ 对此，他们提出了「精度感知（precision-aware）」scaling law。 论文地址：https://arxiv.org/pdf/2411.04330 对于推理过程来说，训练数据越多，量化带来的性能损失越大。 就训练来说，「精度感知」scaling law能够预测不同部分采用不同精度的模型的损失。在某些 ………………………………