Meta发布混合多模态模型—Chameleon

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 全球科技、社交巨头Meta发布了混合多模态模型Chameleon，一共有7B和34B两个版本。 Chameleon可以生成、处理混合多类型内容，包括文本、图片、图像字幕等。同时可以自动生成带图文的长篇内容，整体性能非常强劲。 根据多平台测试数据显示，Chameleon的性能超过了谷歌的Gemini Pro和OpenAI的GPT-4V等知名多模态模型。 论文地址：https://arxiv.org/abs/2405.09818 传统的多模态大模型使用的分阶段处理策略，先分开独立处理图像和文本，然后在后续阶段将这些模态数据融合。这种方法虽然简单直观，却难以高效地捕捉和利用跨模态的复杂关联。 而Chameleon使用了一种创新处理方法，从一开始便将所有模态信息投影到 ………………………………