今天上午arXiv出現(xiàn)一篇非常值得參考的語義分割文章《Efficient Ladder-style DenseNets for Semantic Segmentation of Large Images》,來自克羅地亞的研究人員提出了一種基于DenseNets構(gòu)建的形狀像梯子的語義分割架構(gòu),其不僅精度達(dá)到目前最高(超越DeepLabV3+),而且參數(shù)量少,計(jì)算速度快,可謂語義分割領(lǐng)域的新突破。
以下是作者信息:
作者來自克羅地亞的薩格勒布大學(xué)。
提出問題
作者指出,在深度學(xué)習(xí)領(lǐng)域圖像分類任務(wù)驗(yàn)證的有效網(wǎng)絡(luò)結(jié)構(gòu),極大促進(jìn)了計(jì)算機(jī)視覺其他方向的研究。
比如大放異彩的ResNet深度殘差網(wǎng)絡(luò),成名于ImageNet圖像分類任務(wù),其影響力卻席卷整個(gè)神經(jīng)網(wǎng)絡(luò)的所有應(yīng)用領(lǐng)域。
但由于語義分割的計(jì)算量和參數(shù)量往往都很大,在現(xiàn)有硬件使用這些新出的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行新算法訓(xùn)練時(shí),顯存的大小限制了更好地發(fā)揮其潛力,尤其是對(duì)那些大圖像比如百萬像素圖像的語義分割。
作者詳細(xì)比較了ResNets與DenseNets(此部分可參考論文原文),認(rèn)為在擁有相近的網(wǎng)絡(luò)表達(dá)能力的ResNets與DenseNets網(wǎng)絡(luò)架構(gòu)中,DenseNets所需要的參數(shù)和計(jì)算量都相對(duì)較小。對(duì)于語義分割任務(wù),應(yīng)以其為基礎(chǔ)模塊。
網(wǎng)絡(luò)架構(gòu)
下圖是作者提出算法的網(wǎng)絡(luò)架構(gòu)(請(qǐng)點(diǎn)擊查看大圖):
圖中DB代表這Dense Blocks,TD為transition layers,TU為transition-up blocks,f為輸出特征圖(后面的數(shù)字為特征圖個(gè)數(shù)),輸出特征圖上的x4、x8...x32為下采樣倍數(shù),SPP為spatial pyramid pooling module。
可以看出,其最明顯的特征是有兩個(gè)數(shù)據(jù)路徑。
上面的為下采樣數(shù)據(jù)路徑,特征圖不斷縮小。下面為上采樣數(shù)據(jù)路徑,并在此進(jìn)行數(shù)據(jù)融合。
整個(gè)結(jié)構(gòu)宛如梯子,故稱梯形風(fēng)格的(Ladder-style) DenseNets 。
實(shí)驗(yàn)結(jié)果
作者在主流的語義分割數(shù)據(jù)庫(kù)上與基于ResNet的相同結(jié)構(gòu)算法進(jìn)行了比較,也與其他state-of-the-art進(jìn)行了比較,驗(yàn)證了該算法精度達(dá)到最高的同時(shí),速度快一個(gè)數(shù)量級(jí),參數(shù)也是高精度語義分割算法中最小的(是在Cityscapes數(shù)據(jù)集上唯一的IoU上80的實(shí)時(shí)語義分割算法)。
下圖為在Cityscapes數(shù)據(jù)集驗(yàn)證集上使用與ResNet Blocks的算法的比較,可見在使用Dense Blocks時(shí)不僅參數(shù)少,計(jì)算速度快,而且精度也更高。
下圖為該算法的兩個(gè)最好模型與state-of-the-art語義分割算法在 Cityscapes 驗(yàn)證集與測(cè)試集的結(jié)果比較。
可見該文算法精度最高,計(jì)算量也接近最低水平?。?/span>
下圖上述結(jié)果的散點(diǎn)圖,該文提出的算法LDN是目前唯一的在Cityscapes數(shù)據(jù)集上IoU精度超過80的實(shí)時(shí)語義分割算法!
下圖是在CamVid 測(cè)試集上與基于ResNet結(jié)構(gòu)的算法結(jié)果比較,LDN121依然是精度高、模型小、速度快。
下圖是與CamVid測(cè)試集上的其他state-of-the-art算法的結(jié)果比較,精度依舊是最優(yōu)秀的。
下圖是在Pascal VOC 2012 驗(yàn)證集與測(cè)試集上的與其他state-of-the-art算法相比的分割結(jié)果,依然取得了精度的新突破。
分割結(jié)果示例:
論文地址:
https://arxiv.org/abs/1905.05661v1
作者稱代碼將在論文被接收后開源,期待!
聯(lián)系客服