专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
今天看啥  ›  专栏  ›  爱可可-爱生活

本文提出了一种基于Pyramid Vector Quantiza-20241024054723

爱可可-爱生活  · 微博  · AI  · 2024-10-24 05:47

文章预览

2024-10-24 05:47 本条微博链接 本文提出了一种基于Pyramid Vector Quantization (PVQ) 的大型语言模型量化方法,通过利用权重的球面几何特性、结合Hessian信息和理论最优增益量化,实现了高效、高性能的权重和激活量化,在多个LLM模型上取得了最先进的成果。 [LG]《Pyramid Vector Quantization for LLMs》T F. A. v d Ouderaa, M L. Croci, ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览