吃瓜Llama3-V之余，看多模态大模型架构演变！

文章预览

今天最大的瓜莫过于： 斯坦福 Llama3-V PK  清华 MiniCPM-Llama3-V-2.5，详细 证据： https: //github.com/OpenBMB/MiniCPM-V/issues/196 吃瓜之余，来看一下多模态大模型架构演变！ 一篇优秀的论文综述了多模态AI架构——包含了一个全面的分类法和对任意到任意模态模型发展的分析。 📌 综合分类法 ：首次明确识别并分类四种广泛的多模态架构类型（ A型、B型、C型、D型 ），有助于简化对模型架构的理解和选择。 📌 比较分析 ：对每种架构类型的优势和劣势进行了详细审查，考虑了训练数据、计算需求、可扩展性和模态整合。 📌 任意到任意模态模型 ：突出了构建任意到任意模态模型所涉及的主要架构类型，有助于模型的选择和发展。 综合分类法 按四种提出的架构类型分组的多模态模型发展时间线 多模态模型架构的分类。 四种不同类型的多模态架构及其子类 ………………………………