0.06%数据追上SAM | 浙大提出DiCEPTIoN统一多任务感知，直击工业痛点

文章预览

点击下方卡片，关注 「集智书童」 公众号 点击加入👉 「集智书童」 交流群         导读 作者的主要目标是创建一个优秀的通用感知模型，能够在有限的计算资源和训练数据条件下处理多个任务。为此，作者利用在数十亿图像上预训练的文本到图像扩散模型，并引入作者的视觉通用模型：DiCEPTIoN。作者详尽的评估指标表明，DiCEPTIoN有效地处理了多个感知任务，其性能与最先进模型相当。作者仅使用其数据的0.06%（例如，600K与10亿像素级标注图像）就达到了与SAM-vit-h相当的结果。受Wang等人[109]的启发， DiCEPTIoN 使用颜色编码来表述各种感知任务的输出；作者展示了将随机颜色分配给不同实例的策略在实体分割和语义分割中都非常有效。将各种感知任务统一为条件图像生成，使作者能够充分利用预训练的文本到图像模型。 因此，与从头开始训练的传 ………………………………