以DeepSeek-VL为例，详解视觉语言模型原理及代码

文章预览

来自：炼钢AI  最近开始看看视觉语言模型（VLM）相关的东西了，之前没特别仔细看过代码。翻了几篇比较知名的开源VLM技术报告，感觉DeepSeek-VL算是写的比较好的，因此本文就以DeepSeek-VL为例，结合代码写一写VLM的细节。VLM和LLM比较共性的东西比如Self Attention之类的本文就不过多介绍了，重点讲一讲VLM独有的内容。 DeepSeek-VL github链接：https //github.com/deepseek-ai/DeepSeek-VL/tree/main 1 原理 1.1 模型训练     VLM通常分为3个部分：视觉编码编码器、视觉适配器和LLM。     视觉编码器用于将图像转换为向量表示，在DeepSeek-VL中，图像被视觉编码器转换为576个向量（图像的token embedding）。VLM的视觉编码器 直接使其他模型预训练好的参数 ，普遍使用的视觉编码器结构为ViT（Vision Transformer），但可能是不同方式训练出来的，例如DeepSeek-VL使用的是Siglip和SAM训练出来 ………………………………