YOPO (You Only Prune Once)：给 LLaVA 做剪枝，大幅缩减多模态大模型计算量至 12%！

文章预览

作者丨PaperWeekly 来源丨PaperWeekly 编辑丨极市平台 导读   本文以LLaVA模型为实验对象，通过一系列剪枝策略，将计算量压缩至12%，同时保持了与原始模型同等的性能。 TL;DR 本文提出从参数和计算模式层面对多模态大模型做剪枝，以 LLaVA 为实验对象将计算量压缩至 12% 并获得与原始模型同等的性能，并进一步在 Qwen2-VL 和 InternVL2.0 上验证了此种剪枝策略的普适性。 论文标题： Treat Visual Tokens as Text? But Your MLLM Only Needs Fewer Efforts to See 论文地址： https://arxiv.org/abs/2410.06169 代码地址： https://github.com/ZhangAIPI/YOPO_MLLM_Pruning 01 摘要 随着大语言模型的成功，多模态大模型通过整合视觉、文本和其他模态的信息，显著提升了多模态任务的表现。然而，视觉 token 数量的快速增长导致计算复杂度呈二次方增长，严重制约了模型的可扩展性和部署效率。 本文针对这一 ………………………………