今天看啥  ›  专栏  ›  爱可可-爱生活

提出MobileQuant方法,通过权重转换、学习激活范围以及联-20240828055653

爱可可-爱生活  · 微博  · AI  · 2024-08-28 05:56

文章预览

2024-08-28 05:56 本条微博链接 提出MobileQuant方法,通过权重转换、学习激活范围以及联合优化,实现大规模语言模型在移动设备上的高效整数量化部署,使提示编码延迟和能耗分别降低40%和50%,为移动端部署语言模型提供了有效途径。 [CL]《MobileQuant: Mobile-friendly Quantization for On-device Language Models》F Tan, R Lee, Ł Dudzi ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览