专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
今天看啥  ›  专栏  ›  爱可可-爱生活

本文针对混合(Attention+SSM)语言模型压缩的难点,创-20250421055749

爱可可-爱生活  · 微博  · AI  · 2025-04-21 05:57
    

文章预览

2025-04-21 05:57 本条微博链接 本文针对混合(Attention+SSM)语言模型压缩的难点,创新性地提出了组感知SSM剪枝策略,并将其融入一套包含多维度结构化剪枝和知识蒸馏的统一配方,成功将Nemotron-H 8B模型压缩至4B,以极低的重训练成本实现了同规模模型中的SOTA精度和推理速度。 [CL]《Efficient Hybrid Language Model Compres ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览