训练只靠视觉数据！更小的视觉大模型DeLVM：数据高效的自回归视觉模型训练

文章预览

↑ 点击 蓝字  关注极市平台 作者丨科技猛兽 编辑丨极市平台 极市导读   本文提出了一种只在序列化的视觉数据上面训练，不使用文本数据，且数据高效的大视觉模型。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文目录 1 数据高效的自回归视觉模型训练 (来自悉尼大学，北京理工大学，北京华为诺亚方舟实验室) 1 DeLVM 论文解读 1.1 LVM 的相关背景 1.2 LVM 训练数据的不平衡和参数量冗余 1.3 使用数据增强策略训练 LVM 1.4 使用知识蒸馏策略训练 LVM 太长不看版 本文提出了一种只在序列化的视觉数据上面训练，不使用文本数据，且数据高效的大视觉模型，属于大视觉模型的行列。这类模型的特点是训练好之后，无需微调，即可迁移到多种不同的下游任务上面。当前的代表性工作就是大视觉模型 (Large Visual Model, LVM)[1]。LVM 依赖较大的模型尺寸 ………………………………