关于图像语义分割的总结和感悟

主要观点总结

本文介绍了图像语义分割的相关内容，包括前端和后端的处理方法和结构。文章提到了几种不同的网络结构，如FCN、SegNet/DeconvNet和DeepLab等，并介绍了全连接条件随机场（DenseCRF）、CRFasRNN、马尔科夫随机场（MRF）和高斯条件随机场（G-CRF）等后端处理方法。文章还涉及了一些概率图模型的网络化趋势的感悟。

关键观点总结

关键观点1: 图像语义分割的任务和目标

图像语义分割是对图片上的每一个像素点进行分类，将实际场景图分割成不同类别的分割图。

关键观点2: 前端处理网络结构

前端处理主要使用全卷积网络（FCN），通过卷积化、上采样和跳跃结构等技术进行特征粗提取。

关键观点3: 后端处理概率图模型

后端处理主要使用条件随机场（CRF）和马尔科夫随机场（MRF）等概率图模型，通过能量函数和势函数进行优化，得到更精细的分割结果。

关键观点4: 深度学习+概率图模型的趋势

深度学习用于特征提取，概率图模型能够解释事物本质间的联系，将两者结合是当前的趋势。概率图模型的网络化能够使其参数自学习，同时构成end-to-end的系统。

文章预览

作者：困兽 链接：https://zhuanlan.zhihu.com/p/22308032 前言 前几天刚好做了个图像语义分割的汇报，把最近看的论文和一些想法讲了一下。所以今天就把它总结成文章啦，方便大家一起讨论讨论。本文只是展示了一些比较经典和自己觉得比较不错的结构，毕竟这方面还是有挺多的结构方法了。 介绍 图像语义分割 ，简单而言就是给定一张图片，对图片上的每一个像素点分类 从图像上来看，就是我们需要将实际的场景图分割成下面的分割图： 不同颜色代表不同类别。经过我阅读“大量”论文和查看PASCAL VOC Challenge performance evaluation server，我发现图像语义分割从深度学习引入这个任务（FCN）到现在而言，一个通用的框架已经大概确定了。即： FCN-全卷积网络 CRF-条件随机场 MRF-马尔科夫随机场 前端使用FCN进行特征粗提取，后端使用CRF/MRF优化前端的输出，最后 ………………………………