自回归预训练 + Vision Transformer！大视觉模型 AIM：70亿参数量是我的底气

文章预览

作者丨 科技猛兽 编辑丨极市平台 极市导读   本文提出了大视觉模型 AIM。AIM 是属于受到大语言模型 LLM 的启发，使用自回归训练策略来训练大视觉模型的方法。AIM 和 LLM 一样展示出了缩放能力，AIM 的预训练也类似于 LLM 的预训练。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文目录 1 大视觉模型的自回归预训练 (来自 Apple) 1 AIM 论文解读 1.1 自回归预训练的大视觉模型会不会像 LLM 一样有缩放性质？ 1.2 AIM 预训练数据集 1.3 AIM 自回归的训练目标 1.4 AIM 模型架构 1.5 AIM 模型的缩放性质结果 1.6 消融实验结果 太长不看版 本文的首发日期是 2024.01，也属于大视觉模型的开山之作行列，与上文 " CVPR 2024｜大视觉模型的开山之作！无需任何语言数据即可打造大视觉模型 "讲到的 LVM 属于同期工作。 本文提出了大视觉模型 AIM。AIM 是属于受到大语言模 ………………………………