前沿分享丨HuggingFace教你怎样做出SOTA视觉模型

文章预览

转自 量子位 克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 前有 OpenAI 的GPT-4o，后有谷歌的系列王炸，先进的 多模态大模型 接连炸场。 其他从业者在震撼之余，也再次开始思考怎么追赶这些超级模型了。 刚好在这时， HuggingFace 和法国索邦大学的一篇论文，总结出了构建视觉大模型的关键经验，给开发者指明了一条路。 这些经验涵盖了 模型架构选择、训练方法、训练数据 等多个方面，作者在多方比较之后给出了详尽的总结，核心要点包括这些内容： 想把视觉大模型搞好，架构的选择很重要。 语言模型对整体表现的影响，比视觉模块更大。 采用分阶段预训练策略，更有利于构建模型能力。 训练数据应包含多种类型，并注意之间的比例平衡。 可以说，HF能够打造出同规模 SOTA 的视觉模型 Idefics2 ，背后依靠的都是这些经验。 Idefics2基于Mistral-7B打造， ………………………………