YOPO：LLaVA做剪枝，大幅缩减多模态大模型计算量至12%！

文章预览

以下 文 章来源于微信公众号：极市平台 作者：PaperWeekly 链接：https://mp.weixin.qq.com/s/IOH1DPXgy3V1gm-q0F1QsQ 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 本文以LLaVA模型为实验对象，通过一系列剪枝策略，将计算量压缩至12%，同时保持了与原始模型同等的性能，并进一步在Qwen2-VL和InternVL2.0上验证了此种剪枝策略的普适性。 TLDR 本文提出从参数和计算模式层面对多模态大模型做剪枝，以 LLaVA 为实验对象将计算量压缩至 12% 并获得与原始模型同等的性能，并进一步在Qwen2-VL和InternVL2.0上验证了此种剪枝策略的普适性。 论文标题： Treat Visual Tokens as Text? But Your MLLM Only Needs Fewer Efforts to See 论文地址： https://arxiv.org/abs/2410.06169 代码地址： https://github.com/ZhangAIPI/YOPO_MLLM_Pruning 01  摘要 随着大语言模型的成功，多模态大模型通过整合视觉、文本和其 ………………………………