CVPR 2024｜英伟达发布新一代视觉基础模型: AM-RADIO = CLIP + DINOv2 + SAM

文章预览

↑ 点击 蓝字  关注极市平台 作者丨派派星 来源丨CVHub 编辑丨极市平台 极市导读   本文介绍了英伟达发布的新一代视觉基础模型AM-RADIO，该模型通过多教师蒸馏的方式融合了CLIP、DINOv2和SAM等视觉基础模型的能力，以获得强大的表征能力，并在零样本分类和开集实例分割等任务上实现了SOTA性能。 >> 加入极市CV技术交流群，走在计算机视觉的最前沿 论文 ： https://arxiv.org/pdf/2312.06709 源码 ： https://github.com/NVlabs/RADIO 导读 AM-RADIO 是什么？一张图先来感受它的魅力： 简单来说，AM-RADIO 是一个由英伟达提出的一个视觉基础模型框架，其集成了多个预训练的视觉基础模型如 CLIP、DINOv2及SAM 的能力，以获得强大的表征能力，同时也以几乎可以忽略不计的额外成本实现了SOTA级别的零样本分类或开集实例分割性能。 如上图左边所示的PCA特征可视化结果，RADIO 模型 ………………………………