抛弃视觉编码器，这个「原生版」多模态大模型也能媲美主流方法

主要观点总结

本文介绍了智源研究院视觉团队联合国内高校推出的新一代无编码器的视觉语言模型EVE。EVE通过精细化的训练策略和额外的视觉监督，将视觉-语言表征、对齐和推理整合到统一的纯解码器架构中。使用公开数据，EVE在多个视觉-语言基准测试中表现出色，与基于编码器的主流多模态方法相媲美，并显著优于同类型Fuyu-8B模型。EVE的推出旨在为纯解码器的原生多模态架构发展提供一条透明且高效的路径。

关键观点总结

关键观点1: EVE模型是无编码器的视觉语言模型

智源研究院视觉团队推出了新一代的无编码器视觉语言模型EVE，它打破了主流的多模态模型的固定范式，去除视觉编码器，可处理任意图像长宽比。

关键观点2: EVE模型的技术亮点

EVE的技术亮点包括原生视觉语言模型、数据和训练代价少、透明和高效的探索等方面。通过精细化的训练策略和额外的视觉监督，EVE实现了高效稳定地构建原生多模态模型。

关键观点3: EVE模型的训练策略和结构

EVE模型的训练策略包括大语言模型引导的预训练阶段、生成式预训练阶段和监督式的微调阶段。其结构包括Patch Embedding Layer、Patch Aligning Layer等，实现了视觉和语言之间的初步联系和细粒度视觉信息编码和表征。

关键观点4: EVE模型的性能表现

EVE模型在多个视觉语言基准测试中显著优于同类型的Fuyu-8B模型，并且与多种主流的基于编码器的视觉语言模型表现相当。然而，其在准确响应特定指令方面存在挑战，部分基准测试中表现有待提高。

关键观点5: 未来展望

作为无编码器的原生视觉语言模型，EVE的未来展望包括进一步的性能提升、无编码器架构的畅想以及原生多模态的构建等方面。未来可以通过探索适当的策略和高质量数据的训练，进一步提高EVE的性能。

文章预览

本文中，智源研究院视觉团队联合大连理工大学、北京大学等国内高校，推出了新一代无编码器的视觉语言模型 EVE。通过精细化的训练策略和额外的视觉监督，EVE 将视觉 - 语言表征、对齐和推理整合到统一的纯解码器架构中。使用公开数据，EVE 在多个视觉 - 语言基准测试中表现出色，与类似容量的基于编码器的主流多模态方法相媲美，并显著优于同类型 Fuyu-8B。EVE 的提出旨在为纯解码器的原生多模态架构发展提供一条透明且高效的路径。 论文标题： Unveiling Encoder-Free Vision-Language Models  论文地址:   https://arxiv.org/abs/2406.11832 项目代码:   https://github.com/baaivision/EVE 模型地址:   https://huggingface.co/BAAI/EVE-7B-HD-v1.0 近期，关于多模态大模型的研究如火如荼，工业界对此的投入也越来越多。国外相继推出了炙手可热的模型，例如 GPT-4o （OpenAI）、Gemini（Google ………………………………