多模态大模型VLM蒸馏新SOTA！CVPR'24全新方法打造轻量级CLIP!

主要观点总结

本文介绍了视觉语言模型（VLM）的研究热点，以及模型压缩技术中知识蒸馏的重要性。文章重点介绍了基于提示学习的VLM蒸馏新方法，以及研梦非凡直播课程的内容概览。课程包括研究背景、知识准备、相关工作、PromptKD详解、实验研究和总结展望。同时，提供了研梦非凡科研论文指导方案、导师团队介绍和科研福利等信息。

关键观点总结

关键观点1: 视觉语言模型（VLM）成为研究热点

凭借跨模态处理和理解能力，以及零样本学习方法，为CV领域带来了重大革新。

关键观点2: 大模型存在体量及泛化的局限，模型压缩技术必不可少

知识蒸馏是一种有效的模型压缩技术，能保持模型性能并使其更加轻量。

关键观点3: 基于提示学习的VLM蒸馏新方法被关注

CVPR'24关注并收录了这一方法，其通过提示学习实现知识蒸馏，提高模型性能。

关键观点4: 研梦非凡直播课程介绍

课程包括研究背景、知识准备、相关工作、PromptKD详解、实验研究和总结展望，由王导师独家详解。预约可领取精选论文和享受科研福利。

文章预览

自从谷歌提出ViT、Open AI发布 CLIP， 视觉语言模型（ VLM ）便成为了 研究热点， 凭借跨模态处理和理解能力，以及零样本学习方法，为CV领域带来了重大革新，但同时，大模型也存在体量及泛化的局限，模型压缩技术必不可少，其中， 知识蒸馏的教师-学生模型效果显著，保持性能且更加轻量，而 一项基于 提示学习的VLM蒸馏新方法 ，今年刚被 顶会 CVPR'24关注 收录 ！ 为了帮助大家综合掌握，集 VLM、知识蒸馏、提示工程一体的创新成果 ，研梦非凡于 9月4日晚（周三） ，邀请了从事 多模态大模型研究的王导师 ，独家详解来自 南开 & 蚂蚁集团的 CVPR'24研究 《 PromptKD： 基于提示学习的VLM蒸馏新方法！ 》 （AI前沿直播课NO.65） ，从 VLM、Knowledge Distillation、Prompt Learning的知识回顾，到PromptSRC等顶会相关工作， 重点讲解PromptKD方法原理、提示蒸馏过程及实验 ………………………………