多模态大模型: 盘点&Highlights part3——Gemini系列

主要观点总结

文章介绍了多模态大模型领域的几个重要工作，包括Gemini系列、Mini-Gemini等，并详细阐述了它们的技术细节和特点。文章还提到了数据处理的重要性，并强调了算法工程能力在数据处理方面的必要性。

关键观点总结

关键观点1: Gemini系列的工作介绍

Gemini 1.0提出了“原生多模态”的思想，使用Transformer-Decoder结构，在模型架构和数据处理方面都有创新。Gemini 1.5的技术报告则详细展示了Gemini 1.5 Pro的能力和特点。此外，文章还介绍了Mini-Gemini的特点和亮点，包括双塔视觉编码器、Patch Info Mining等技术细节。

关键观点2: 数据处理的重要性

数据处理在多模态大模型中至关重要，涉及到数据清洗、重建、过滤等多个环节。Mini-Gemini在处理方面做了改进，使用了更丰富和高质量的数据，同时进行了详细的消融实验来验证不同数据集对最终效果的影响。

关键观点3: 算法工程能力的重要性

文章强调了算法工程能力在数据处理方面的必要性，指出数据分析、处理、清洗、重生成是算法工程师的“硬功”。同时，通过Mini-Gemini中的token extension等技术细节，展示了算法工程能力在处理多模态数据中的重要性。

文章预览

前言 Hi大家好，我叫延捷，是一名计算机视觉算法工程师，也是叉烧的老朋友了。 我们计划发布一系列关于多模态大模型的文章，帮助大家快速、精准地了解多模态大模型的前世今生，并且深 入各个多模态大模型领域优秀的工作，希望能给大家一个脉络性的盘点，一起学习，共同进步。 Introduction 上一期我们介绍了Qwen-VL和其最近的延伸Qwen2-VL。本期则会详细介绍一下另外一个在多模态大模型领域相当火热Gemini系列，本文会以Gemini为主干，分享Google在多模态大模型领域的一些经典工作，并且也会介绍笔者非常喜欢的一个Gemini分支作品Mini-Gemini（虽然跟Google的Gemini关系并不算大，但它真的很值得）。同样地我并不会过多列举一些不必要的论文细节和指标，而是会着重讲述： “心路历程”：一个系列工作逐步发展的路径，作者是如何根据当前工作的缺点 ………………………………