Scaling Law或将终结？哈佛MIT预警：低精度量化已无路可走，重磅研究掀翻AI圈

文章预览

点击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达                            转自 新智元   编辑：桃子 LRS 【导读】 哈佛斯坦福MIT等机构首次提出「精度感知」scaling law，揭示了精度、参数规模、数据量之间的统一关系。数据量增加，模型对量化精度要求随之提高，这预示着AI领域低精度加速的时代即将结束！ 就连「量化」也不管用，scaling law真的要终结了吗？ 一提scaling law，人们重点关注的是参数规模、数据量等因素，却忽视了「精度」这一关键变量。 哈佛斯坦福MIT等机构研究人员竟发现，低精度训练会降低模型的「有效参数量」！ 对此，他们提出了「精度感知（precision-aware）」scaling law。 论文地址：https://arxiv.org/pdf/2411.04330 对于推理过程来说，训练数据越多，量化带来的性能损失越大。 就训练 ………………………………