翻 譯 | 張曉彬（浙江大學(xué)）、had_in（電子科技大學(xué)）、愛曼紐·西蒙（東南大學(xué)）、BBuf（西南科技大學(xué)）
編 輯 | Pita
圖源：http://www.cs.toronto.edu/~tingwuwang/semantic_segmentation.pdf
Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation (用于語義分割的弱監(jiān)督和半監(jiān)督的深度神經(jīng)網(wǎng)絡(luò))
Fully Convolutional Networks for Semantic Segmentation (用于語義分割的全卷積神經(jīng)網(wǎng)絡(luò))
U-Net: Convolutional Networks for Biomedical Image Segmentation (用于生物醫(yī)學(xué)圖像的語義分割卷積神經(jīng)網(wǎng)絡(luò))
The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation （用于語義分割的全卷積DenseNet）
Multi-Scale Context Aggregation by Dilated Convolutions (基于擴(kuò)張卷積的多尺度上下文聚合)
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs(DeepLab: 使用深度神經(jīng)網(wǎng)絡(luò)，空洞卷積，和全連接CRF做語義分割的網(wǎng)絡(luò))
Rethinking Atrous Convolution for Semantic Image Segmentation（語義分割中的空洞卷積的再思考）
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation（ 空間金字塔池化模塊和編碼-解碼結(jié)構(gòu)用于語義分割的深度網(wǎng)絡(luò)結(jié)構(gòu).）
FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation（Fast FCN:對語義分割分割后端的空洞卷積的再思考）
Improving Semantic Segmentation via Video Propagation and Label Relaxation（通過視頻傳播和標(biāo)簽松弛改善語義分割）
Gated-SCNN: Gated Shape CNNs for Semantic Segmentation（門控-SCNN: 用于語義分割的門控形狀卷積神經(jīng)網(wǎng)絡(luò)）
這篇文章提出了一種解決方法，用于面對深度卷積網(wǎng)絡(luò)中處理弱標(biāo)記數(shù)據(jù)的難題、以及處理良好標(biāo)記與未適當(dāng)標(biāo)記數(shù)據(jù)結(jié)合。
本文應(yīng)用了一個深度CNNs與全連接條件隨機(jī)場的組合。
用于語義分割的DCNN弱和半監(jiān)督學(xué)習(xí)（https://arxiv.org/abs/1502.02734）
在PASCAL VOC分割基準(zhǔn)中，這個模型給出了超過70%的平均IoU。這種模型的一個主要難題是它在訓(xùn)練時需要在像素層次標(biāo)記的圖像。
圖源：https://arxiv.org/pdf/1502.02734.pdf
這篇文章的主要貢獻(xiàn)在于：
引入弱監(jiān)督和半監(jiān)督設(shè)定都適用的期望最大化算法來用于邊界框或圖像層次的訓(xùn)練；
證明弱與強(qiáng)標(biāo)記的組合能夠改善性能，在合并MSCOCO數(shù)據(jù)集和PASCAL數(shù)據(jù)集的標(biāo)記后，論文作者在PASCAL VOC2012上獲得73.9%的IoU；
證明通過合并少量像素級標(biāo)記圖像和大量邊框或圖像級標(biāo)注圖像獲得了更好的性能。
圖源：https://arxiv.org/pdf/1502.02734.pdf
用于語義分割的全卷積網(wǎng)絡(luò)（https://arxiv.org/abs/1605.06211）
這篇文章提出的模型在PASCAL VOC 2012上取得了67.2%的平均IU。
全連接網(wǎng)絡(luò)輸入任意大小的圖像，生成一個對應(yīng)空間維度的輸出。在這個模型中，ILSVRC分類器被轉(zhuǎn)換成一個全連接網(wǎng)絡(luò)，并使用逐像素?fù)p失和網(wǎng)絡(luò)內(nèi)上采樣強(qiáng)化來進(jìn)行密集預(yù)測，之后對分割的訓(xùn)練就通過fine-tuning完成。Fine-tuning是在整個網(wǎng)絡(luò)上進(jìn)行反向傳播完成的。
圖源：https://arxiv.org/pdf/1605.06211.pdf
在生物醫(yī)學(xué)圖像處理中，獲得圖像中每個細(xì)胞的類別標(biāo)簽至關(guān)重要。而生物醫(yī)學(xué)任務(wù)中最大的挑戰(zhàn)就在于難以獲得數(shù)以千計的圖像來用于訓(xùn)練。
U-Net：用于醫(yī)學(xué)圖像分割的卷積網(wǎng)絡(luò)（https://arxiv.org/abs/1505.04597）
這篇文章構(gòu)建在全卷積層之上，并將其修改使其在一些訓(xùn)練圖像上有效并產(chǎn)出更精確的分割。
圖源：https://arxiv.org/abs/1505.04597
因為只能獲得很少的訓(xùn)練數(shù)據(jù)，這個模型在已有數(shù)據(jù)上應(yīng)用彈性變形來對數(shù)據(jù)增強(qiáng)。就如上面圖1中所示，網(wǎng)絡(luò)架構(gòu)由左側(cè)的收縮路徑和右側(cè)的膨脹路徑組成。
收縮路徑由兩個 3x3 卷積組成，每個卷積后面都跟一個修正線性單元和一個用于下采樣的 2x2 最大池化。每個下采樣階段都多使特征通道數(shù)加倍。膨脹路徑步驟中包含一個特征通道的上采樣。這后面跟著將特征通道數(shù)減半的 2x2 上卷積。最后一層是一個將成分特征向量映射到要求類別數(shù)的 1x1 卷積。
圖源：https://arxiv.org/abs/1505.04597
在這個模型中，訓(xùn)練使用輸入圖像——它們的分割圖，和一個Caffe實現(xiàn)的隨機(jī)梯度下降完成。數(shù)據(jù)增強(qiáng)用于在使用很少的訓(xùn)練數(shù)據(jù)時教會網(wǎng)絡(luò)達(dá)到所要求的魯棒性和不變性。模型在一個實驗中達(dá)到了0.92的平均IoU。
圖源：https://arxiv.org/abs/1505.04597
DenseNets背后的思想是使每一層以前向傳播的方式連接到所有層會使網(wǎng)絡(luò)更易于訓(xùn)練并更精確。
100層Tiramisu：用于語義分割的全卷積DenseNets（https://arxiv.org/abs/1611.09326）
模型結(jié)構(gòu)構(gòu)建在dense塊的下采樣和上采樣路徑中，下采樣路徑有2個Transitions Down（TD）而上采樣路徑有兩個Transitions Up（TU）。圓圈和箭頭表示網(wǎng)絡(luò)內(nèi)的連接模式。
圖源：https://arxiv.org/pdf/1611.09326.pdf
這篇文章的主要貢獻(xiàn)在于：
擴(kuò)展DenseNet結(jié)構(gòu)到全卷積網(wǎng)絡(luò)來用于語義分割；
提出dense網(wǎng)絡(luò)中的上采樣路徑比其他上采樣路徑性能更好；
證明這個網(wǎng)絡(luò)能夠在標(biāo)準(zhǔn)基準(zhǔn)上產(chǎn)生最優(yōu)結(jié)果。
這個模型在CamVid數(shù)據(jù)集上達(dá)到了88%的全局準(zhǔn)確率。
圖源：https://arxiv.org/pdf/1611.09326.pdf
在這篇論文中，開發(fā)了一種卷積網(wǎng)絡(luò)模塊，它可以在不損失分辨率的情況下融合多尺度的上下文信息。然后該模塊可以以任何分辨率插入現(xiàn)有架構(gòu)。該模塊基于擴(kuò)張卷積。
該模塊在Pascal VOC 2012數(shù)據(jù)集上進(jìn)行了測試。它證明向現(xiàn)有語義分段體系結(jié)構(gòu)添加上下文模塊可提高其準(zhǔn)確性。
圖源：https://arxiv.org/abs/1511.07122
經(jīng)過實驗訓(xùn)練的前端模塊在VOC-2012驗證集上實現(xiàn)了69.5%的平均IoU，在測試機(jī)上實現(xiàn)了71.3%的平均IoU。該模型對不同物體的訓(xùn)練精度如下所示。
圖源：https://arxiv.org/abs/1511.07122
通過使用DCNNs改進(jìn)目標(biāo)邊界的定位。
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully… （https://arxiv.org/abs/1606.00915）
這篇文章提出的DeepLab系統(tǒng)在PASCAL VOC-2012語義圖像分割任務(wù)上實現(xiàn)了79.7%的mIOU。
本文針對深度CNNs在語義分割應(yīng)用中面臨的主要挑戰(zhàn)，包括：
由Max-Pooling和下采樣的組合導(dǎo)致的特征分辨率的降低。
目標(biāo)的多尺度問題。
DCNN空間變換的不變性導(dǎo)致定位精度降低，而以對象為導(dǎo)向的分類器又需要具有空間變換不變性。
圖源：https://arxiv.org/abs/1606.00915
空洞卷積可以通過對濾波器插入零點進(jìn)行上采樣來實現(xiàn)，也可以對輸入特征map進(jìn)行稀疏采樣來實現(xiàn)。第二種方法需要對輸入特征圖通過一個等于空洞卷積率r的因子進(jìn)行下采樣，并將其去除間隔行生成r^2的縮減分辨率map，每種可能的轉(zhuǎn)換為r×r分辨率的縮減變換均對應(yīng)一個分辨率map。然后，對得到的特征map應(yīng)用標(biāo)準(zhǔn)卷積操作，將提取到的特征與圖像的原始分辨率進(jìn)行融合。
圖源：https://arxiv.org/abs/1606.00915
本文討論了使用DCNNs進(jìn)行語義分割的兩個挑戰(zhàn)（前面提及）；應(yīng)用連續(xù)池化操作出現(xiàn)的特征分辨率降低和對象在多尺度出現(xiàn)。
重新思考用于語義圖像分割的Atrous卷積（https://arxiv.org/abs/1706.05587）
為了解決第一個問題，文章建議使用Atrous卷積，也成為擴(kuò)張卷積。它提出通過使用Atrous卷積來擴(kuò)大視野，因此包含了多尺度上下文，來解決第二個問題。
圖源：https://arxiv.org/pdf/1706.05587.pdf
在沒有DenseCRF后處理的情況下，本文的'DeepLabv3'在PASCAL VOC 2012測試集上達(dá)到了85.7%的準(zhǔn)確率。
圖源：https://arxiv.org/pdf/1706.05587.pdf
本文的方法“DeepLabv3+”，在無需對PASCAL VOC 2012和Cityscapes數(shù)據(jù)集進(jìn)行任何后期處理的情況下，測試集性能分別達(dá)到89.0%和82.1%。該模型是DeepLabv3的擴(kuò)展，通過添加一個簡單的解碼器模塊來細(xì)化分割結(jié)果。
基于空洞可分離卷積編解碼器的圖像語義分割（https://paperswithcode.com/paper/encoder-decoder-with-atrous-separable）
圖源：https://arxiv.org/pdf/1802.02611v3.pdf
本文實現(xiàn)了兩種使用空間金字塔池化模塊進(jìn)行語義分割的神經(jīng)網(wǎng)絡(luò)。一種方法通過融合在不同分辨率下的特征來捕獲上下文信息，而另一種方法則著眼于獲得清晰的目標(biāo)邊界。
圖源：https://arxiv.org/pdf/1802.02611v3.pdf
文章提出了一個聯(lián)合上采樣模塊，命名為聯(lián)合金字塔上采樣（JPU），以取代消耗大量時間和內(nèi)存的擴(kuò)張卷積。它的工作原理是將獲取高分辨率圖像的任務(wù)轉(zhuǎn)化為聯(lián)合上采樣問題。
該方法在Pascal Context數(shù)據(jù)集上實現(xiàn)53.13%的mIoU性能，運行速度提高了三倍。
圖源：https://arxiv.org/pdf/1903.11816v1.pdf
該方法實現(xiàn)了全連接網(wǎng)絡(luò)（FCN）作為主干，同時應(yīng)用JPU對低分辨率特征映射進(jìn)行上采樣，從而生成高分辨率的特征映射。用JPU代替擴(kuò)張的卷積不會導(dǎo)致任何性能損失。
圖源：https://arxiv.org/pdf/1903.11816v1.pdf
標(biāo)簽傳播法(LP)通過將傳播的標(biāo)簽與真實的未來幀進(jìn)行配對，以創(chuàng)建新的訓(xùn)練樣本。
圖像-標(biāo)簽混合傳播法(JP)通過將傳播標(biāo)簽與相應(yīng)的傳播圖像進(jìn)行配對，以創(chuàng)建新的訓(xùn)練樣本。
這篇文章是語義分割模塊的最新進(jìn)展。作者提出了一種雙流CNN架構(gòu)。在此體系結(jié)構(gòu)中，形狀信息作為單獨的分支處理。該形狀流僅處理邊界相關(guān)信息。這由模型的門控卷積層（GCL）和本地監(jiān)督強(qiáng)制執(zhí)行。
門控SCNN：用于語義分段的門控形狀CNNs（2019，https://arxiv.org/abs/1907.05740）
圖源：https://arxiv.org/abs/1907.05740
該模型在mloU上的表現(xiàn)優(yōu)于DeepLab-v3+ 1.5%，在F界面得分上優(yōu)于4%。該模型已使用Citycapes基準(zhǔn)進(jìn)行評估。在較小和較薄物體上，該模型在IoU上實現(xiàn)7%的改進(jìn)。
下表顯示了Gated-SCNN和其他模型的性能比較
圖源：https://arxiv.org/abs/1907.05740
我們現(xiàn)在應(yīng)該跟上一些最常見的，以及集中最近在各種環(huán)境中執(zhí)行語義分割的技術(shù)。
上面的文章/摘要包含其代碼實現(xiàn)的鏈接。我們很高興看到您在測試后獲得的結(jié)果。
Via https://heartbeat.fritz.ai/a-2019-guide-to-semantic-segmentation-ca8242f5a7fc
