主要观点总结
本文主要介绍了计算机视觉领域的图像分割技术,包括各种分割方法及其相关算法。文章首先介绍了语义分割、实例分割和全景分割的概念和区别,然后详细描述了各种分割方法的关键技术,如FCN、SegNet、ENet、CRFasRNN、PSPNet、ParseNet、RefineNet等。文章还介绍了循环神经网络(RNN)和双向循环神经网络(BRNN)在图像分割中的应用,以及全景分割的度量矩阵。最后,文章总结了各种方法的优缺点,并指出了未来研究方向。
关键观点总结
关键观点1: 语义分割、实例分割和全景分割的概念和区别
语义分割是对图像中每个像素进行分类;实例分割需要区分同一类别中的不同实例;全景分割要求为每个像素分配语义标签和实例id。
关键观点2: FCN、SegNet、ENet等分割方法的关键技术
FCN用卷积层和池化层替代分类网络中的全连接层,实现像素级的稠密估计任务;SegNet采用编码器-解码器结构,通过记录池化过程的位置信息实现反卷积操作;ENet通过缩小输入图像分辨率去除视觉冗余、减小计算量,同时引入空洞卷积增大感受野。
关键观点3: CRFasRNN、PSPNet、ParseNet等高级分割方法的特点
CRFasRNN结合CRF和RNN,实现端到端的分割网络结构;PSPNet采用金字塔池化模型,并行考虑多个感受野下的目标特征;ParseNet通过全局池化提取全局特征,并将其与局部特征融合。
关键观点4: 循环神经网络(RNN)和双向循环神经网络(BRNN)在图像分割中的应用
RNN和BRNN能够处理序列数据,在图像分割中用于处理图像的序列特性,如ReSeg使用BRNN进行分割。
关键观点5: 全景分割的度量矩阵
全景分割的度量矩阵要求完整性、可解释性和简单性,包括分割匹配和全景质量计算两个部分。
文章预览
分割知识点总结 1 什么是分割 原始图像,(b)语义分割,(c)实例分割和(d)全景分割。 尽管FCN意义重大,在当时来讲效果也相当惊人,但是FCN本身仍然有许多局限。比如: 1)没有考虑全局信息; 2)无法解决实例分割问题; 3)速度远不能达到实时; 4)不能够应对诸如3D点云等不定型数据基于此。 下图给出了部分研究成果与FCN的关系。 2 FCN 目前在图像分割领域比较成功的算法,有很大一部分都来自于同一个先驱:Long等人提出的Fully Convolutional Network(FCN),FCN用卷积层和池化层替代了分类网络中的全连接层,从而使得网络结构可以适应像素级的稠密估计任务。 全连接层转换成卷积层 连接不同尺度下的层 FCN可以与大部分分类网络有效结合,下表中给出了在PASCAL VOC 2011数据库下,FCN与AlexNet、FCN-VGG16和FCN-GoogLeNet结合的结果。 分割任务中的编码
………………………………