美团开源首发INT8无损满血版DeepSeek R1

文章预览

DeepSeek R1模型权重原生为FP8类型，仅能被英伟达新型GPU支持。美团技术团队进行了INT8精度量化的尝试，量化后模型精度基本无损，可部署到A100等其他型号GPU，从而解锁了芯片限制；相比BF16实现了50%的吞吐提升，降低了推理成本。相关技术已在Hugging Face上开源： https://huggingface.co/meituan/DeepSeek-R1-Block-INT8 https://huggingface.co/meituan/DeepSeek-R1-Channel-INT8 1. 背景 2. INT8量化推理实践 2.1 量化的基本原理 2.2 DeepSeek R1的量化简介 2.3 量化方法设计 2.4 量化模型评估 2.5 量化模型部署 3. 总结与展望 1. 背景 DeepSeek R1横空出世后，吸引了众多公司和个人用户尝试其满血版本部署。然而原生版本的模型权重为FP8数据格式，对GPU芯片类型有严格限制，仅能被英伟达新型GPU支持（ 如Ada、Hopper架构芯片 ），其他型号GPU（ 如A100 ）无法直接部署。尽管我们可以将FP8权重反量化为BF16 ………………………………