学术分享丨精度与通用性不可兼得，北大华为理论证明低精度下scaling law难以实现

文章预览

转自 机器之心 本工作来自北京大学智能学院王立威、贺笛老师课题组与华为诺亚方舟实验室李震国、孙嘉城研究员。作者包括智能学院博士生冯古豪、古云天、罗胜杰；信息科学技术学院本科生杨铠、艾心玥。 大模型量化通过将模型参数从较高的精度（如 bfoat16）压缩到低精度（如 int8 或 int4）来降低模型推理的开销，提高模型推理的速度。在大语言模型的实际部署中，量化技术能够显著提高大语言模型推理的效率。但近日，来自哈佛大学，MIT，CMU，斯坦福大学和 Databricks 的研究团队通过大量实验总结出了大语言模型关于精度的 Scaling Law，实验发现 模型的量化压缩会较大影响大语言模型的性能。 无独有偶，来自北大和华为的研究团队近期则从理论角度研究了量化对于大模型通用性的影响。具体而言，研究者关注了量化对于大模型数学推理能力的 ………………………………