多模态模型(VLM)部署方法抛砖引玉

文章预览

↑ 点击 蓝字  关注极市平台 作者丨oldpan 来源丨oldpan博客 编辑丨极市平台 极市导读   文章详细讨论了几种多模态模型，如LLaVA、InternLM-XComposer2、QWen-VL等，并解释了它们的架构和训练流程。以及介绍了几种多模态模型的部署框架，包括TensorRT-LLM、lmdeploy和vLLM，并讨论了它们对VLM模型的支持程度。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 去年年初LLM刚起步的时候，大模型的部署方案还不是很成熟，如今仅仅过了一年多，LLM部署方案已经遍地都是了。 而多模态模型相比大语言模型来说，发展的还没有很“特别”成熟，不过由于两者结构很相似，LLMs的经验还是可以很好地利用到VLMs中。 本篇文章中提到的多模态指的是视觉多模态，即VLM（Vision Language Models）。 以下用一张图展示下简单多模态模型的运行流程： Text Embeddings即文本输入，就是 ………………………………