手机跑大模型提速4-5倍！微软亚研院开源新技术，有CPU就行

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 量子位 来源 | 微软亚洲研究院 有CPU就能跑大模型，性能甚至超过NPU/GPU！ 没错，为了 优化模型端侧部署 ，微软亚洲研究院提出了一种新技术—— T-MAC 。 这项技术 主打性价比 ，不仅能让端侧模型跑得更快，而且资源消耗量更少。 咋做到的？？ 在CPU上高效部署低比特大语言模型 一般来说，要想在手机、PC、树莓派等端侧设备上使用大语言模型，我们需要解决 存储和计算问题 。 常见的方法是 模型量化 ，即将模型的参数量化到较低的比特数，比如4比特、3比特甚至更低，这样模型所需的存储空间 ………………………………