一文看完多模态：从视觉表征到多模态大模型

文章预览

作者丨 菜人卷@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/684472814 编辑丨极市平台 转眼2024，距离上次知乎写作就快过去一年，上一次的计划主题还是“开源大模型”（参见《ChatGPT的朋友们：大语言模型经典论文一次读到吐》( https://zhuanlan.zhihu.com/p/620360553 )），无奈这个方向变化太快，而且也不乏优质总结文章，也就一直没有动笔。正好最近做图文多模态大模型相关的工作，在查阅资料的过程中没遇到比较完整的脉络梳理文章，往往需要综合参考；反观这个方向的综述型论文又过于追求“完美”，个人感觉详略把控不尽人意。 因此，借此机会结合自己的学习过程，对多模态和多模态大模型做一个系统的梳理，尝试以一个亲历者的视角谈谈这部分技术的发展思路，希望能给读者一些不一样的收获，如有偏颇，欢迎指正。 为了表述简单，我们不严 ………………………………