classic semantic segmentation paper

经典语义分割论文
1. CVPR 2015,FCN

深度学习语义分割开山之作

论文名称:Fully convolutional networks for semantic segmentation

摘要:

卷积网络在特征分层领域是非常强大的视觉模型。我们证明了经过端到端、像素到像素训练的卷积网络超过语义分割中最先进的技术。我们的核心观点是建立“全卷积”网络,输入任意尺寸,经过有效的推理和学习产生相应尺寸的输出。我们定义并指定全卷积网络的空间,解释它们在空间范围内dense prediction任务(预测每个像素所属的类别)和获取与先验模型联系的应用。我们改编当前的分类网络(AlexNet [22] ,the VGG net [34] , and GoogLeNet [35] )到完全卷积网络和通过微调 [5]传递它们的学习表现到分割任务中。然后我们定义了一个跳跃式的架构,结合来自深、粗层的语义信息和来自浅、细层的表征信息来产生准确和精细的分割。我们的完全卷积网络成为了在PASCAL VOC最出色的分割方式(在2012年相对62.2%的平均IU提高了20%),NYUDv2,和SIFT Flow,对一个典型图像推理只需要花费不到0.2秒的时间。

论文链接:https://arxiv.org/pdf/1411.4038.pd

源码:https://github.com/shelhamer/fcn.berkeleyvision.org

2. MICCA 2015,U-Net

医学图像分割领头者

论文名称:U-Net: Convolutional Networks for Biomedical Image Segmentation

摘要:

网络结构包括一个捕获上下文信息的收缩路径和一个用于精确定位的对称扩张路径,该网络能使用很少的图像就能够进行端到端的训练,并且在ISBI对电子显微镜下神经元结构进行的分割挑战方面胜过先前的最佳方法(滑动窗口卷积网络)。

论文链接:https://arxiv.org/pdf/1505.04597v1.pdf

包含经过训练的网络、源代码等:

https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/u-net-release-2015-10-02.tar.gz

3 ICLR 2018

论文名称:FusionNet: A deep fully residual convolutional neural network for image segmentation in connectomics

摘要:

Electron microscopic connectomics(电子显微镜连接组学)是一个炙手可热的研究方向,致力于通过高通量、纳米级显微镜来综合理解脑部连接图。但是人工消耗很大,现在深度学习网络发展的如日中天,我们搭建了一个FusionNet网络,用于在连接组学数据中自动分割神经元结构。(用神经网络去研究神经网络)FusionNet利用了机器学习的最新进展,如语义分割和残差网络,并引入了允许更深的网络架构来实现更准确的分割的基于累加的跳过连接。我们与ISBI EM segmentation challenge(这是一个挑战赛,EM指电子显微镜)的前几名的结果进行了对比,展现了我们的网络的性能。我们还展示了两个不同任务的分割结果,包括细胞膜和细胞核分割以及细胞形态的统计分析。

论文链接:https://arxiv.org/ftp/arxiv/papers/1612/1612.05360.pdf

4. CVPR2015,SegNet

语义分割必读算法,和DeconvNet 类似。

论文名称:Segnet: A deep convolutional encoder-decoder architecture for image segmentation

摘要:

SegNet 有三个部分构成:一个 encoder network,一个对应的 decoder network,最后一个像素级别的分类层。本文最大的亮点在:在 encoder 阶段我们做 max-pooling时,我们将 pooling indices 记录下来,在decoder upsamples 使用这些 pooling indices 得到稀疏的 upsampled maps,再用 trainable filters 进行卷积得到 dense feature maps。

论文链接:https://arxiv.org/pdf/1511.00561.pdf

5 ICCV 2015,DeconvNet

论文名称:Learning deconvolution network for semantic segmentation

摘要:

  1. 提出新的语义分割算法:深度反卷积网络;

  2. 在VGG-16卷积层上学习网络;

  3. 反卷积组成:deconvolution and unpooling layers,识别逐像素的类别标签,并预测分割mask;

  4. 将object proposal(edge box)送入训练后的网络,然后整幅图像是这些proposal的分割结果的组合,这样就可以解决物体太大或者太小所带来的分割问题;

  5. deep deconvolution network 和候选区域级别的预测(proposal-wise predictio),改进了现存的基于FCN的方法.

  6. 我们的算法能识别精细的结构以及不同尺度大小的目标

论文链接:https://arxiv.org/pdf/1505.04366.pdf

6. ICLR 2015,DeepLabv1

带孔卷积,大有作为

论文名称:DeepLab V1: Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs

摘要:

CRF简单来说,能做到的就是在决定一个位置的像素值时(在这个paper里是label),会考虑周围邻居的像素值(label),这样能抹除一些噪音。但是通过CNN得到的feature map在一定程度上已经足够平滑了,所以short range的CRF没什么意义。于是作者采用了fully connected CRF,这样考虑的就是全局的信息了。

论文链接:https://arxiv.org/pdf/1412.7062.pdf

7. TPAMI 2017 DeepLabv2

论文名称:V2: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs

摘要:

提出并强调洞卷积(atrous convolution)的作用与实际应用操作,Atrous convolution可以精确地控制在深度卷积神经网络中计算特征响应的分辨率,它还允许在不增加参数数量或计算量的情况下,有效地扩大过滤器的视野,以结合更多的上下文信息。

论文链接:https://export.arxiv.org/pdf/1606.00915

8. ECCV 2018 DeepLabv3

论文名称:V3: Rethinking Atrous Convolution for Semantic Image Segmentation

摘要:

DeepLabv3进一步探讨空洞卷积,这是一个在语义分割任务中:可以调整滤波器视野、控制卷积神经网络计算的特征响应分辨率的强大工具。为了解决多尺度下的目标分割问题,我们设计了空洞卷积级联或不同采样率空洞卷积并行架构。此外,我们强调了ASPP(Atrous Spatial Pyramid Pooling)模块,该模块可以在获取多个尺度上卷积特征,进一步提升性能。同时,我们分享了实施细节和训练方法,此次提出的DeepLabv3相比先前的版本有显著的效果提升,在PASCAL VOC 2012上获得了先进的性能。

论文链接:https://arxiv.org/pdf/1706.05587.pdf

9. ECCV 2018 DeepLabv4

论文名称:V4: Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

摘要:

空间金字塔池模块或编码 - 解码器结构用于深度神经网络中解决语义分割任务。前一种网络能够通过利用多个速率和多个有效视场的过滤器或池化操作探测输入特征来编码多尺度上下文信息,而后一种网络可以通过逐渐恢复空间信息来捕获更清晰的对象边界。在这项工作中,我们建议结合两种方法的优点。具体来说,我们提出的模型DeepLabv3 +通过添加一个简单而有效的解码器模块来扩展DeepLabv3,以优化分割结果,尤其是沿着对象边界。我们进一步探索Xception模型并将深度可分离卷积应用于Atrous Spatial Pyramid Pooling和解码器模块,从而产生更快更强的编码器-解码器网络。我们证明了所提出的模型在PASCAL VOC 2012语义图像分割数据集上的有效性,并且在没有任何后处理的情况下在测试集上实现了89%的性能。我们的论文附有Tensorflow中提出的模型的公开参考实现。

论文链接:https://arxiv.org/pdf/1802.02611.pdf

10. CVPR 2017,GCN

开拓语义分割新思想

论文名称:Large Kernel Matters--Improve Semantic Segmentation by Global Convolutional Network

摘要:

文章认为,classification和localization之间是有冲突的,我们平时所用的卷积分割网络,在提高分割效果的同时,削弱了分类的能力。文中认为通过设置大的感受野可以获得featuremap与pixel score之间的densely connections。

论文链接:https://arxiv.org/pdf/1703.02719.pdf

11. ECCV 2018,ExFuse

宏观角度看待语义分割

论文名称:ExFuse: Enhancing Feature Fusion for Semantic Segmentation

摘要:

文中提到说目前语义分割的框架,大多是FCN的框架,使用encode得到将语义信息融合到feature map中,然后再使用decode通过feature map得到分割结果,一般来说encoder都是使用pre-trained的分割网络进行transfer过来的,但是呢,虽然这样encoder可以得到更丰富的语义信息,但是损失了分辨率,对于恢复到原本分辨率分割图来说带来了困难,因此U-net被提出来解决这个问题,使用skip connection将hight-level low-resolution from top layers和low-level high-resolution from bottom layers的特征融合起来。

论文链接:https://arxiv.org/pdf/1804.03821.pdf

12. CVPR 2018

论文名称:Learning a discriminative feature network for semantic segmentation

摘要:

创新点就是特征区分网络discriminative feature network,本别叫做平滑网络Smooth Network以及边界网络Border Network。这两个网络可以处理类内一致性以及类间区分性。最终。形成了encoder-decoder网络结构,美其名曰Discriminative Feature Network

论文链接: https://arxiv.org/pdf/1804.09337.pdf

文章转自 B站深度之眼,如有侵权,请联系删除。