【導(dǎo)讀】顯著性目標(biāo)檢測（Salient Object Detection）最近幾年成了研究熱點，每年計算機視覺三大會議（ICCV, CVPR, ECCV）上的相關(guān)的文章不少，這篇新出綜述首次以深度學(xué)習(xí)技術(shù)為核心對SOD進(jìn)行的全面綜述。作者首先從網(wǎng)絡(luò)架構(gòu)、監(jiān)督級別等多個不同的角度對基于深度學(xué)習(xí)的顯著性目標(biāo)檢測(SOD)模型進(jìn)行仔細(xì)的回顧和組織。然后，總結(jié)了流行的SOD數(shù)據(jù)集和評估標(biāo)準(zhǔn)，并編寫了一個覆蓋主要SOD方法的全面性能的基準(zhǔn)。最后，討論了顯著性目標(biāo)檢測(SOD)存在的一些問題和挑戰(zhàn)，并指出了今后可能的研究方向。并且討論相關(guān)數(shù)據(jù)集和源代碼也將會Open。
題目：Salient Object Detection in the Deep Learning Era: An In-Depth Survey
作者：Wenguan Wang, Qiuxia Lai, Huazhu Fu, Jianbing Shen, Haibin Ling
【摘要】圖像顯著性目標(biāo)檢測(SOD)作為計算機視覺中的一個重要問題，近年來受到越來越多研究者的關(guān)注。毫無疑問，顯著性目標(biāo)檢測(SOD)的最新進(jìn)展主要是由基于深度學(xué)習(xí)的解決方案(稱為深度SOD)主導(dǎo)的，并反映在數(shù)百篇已發(fā)表的論文中。為了加深對深度SOD的理解，本文從算法分類到未解決的開放問題等各個方面進(jìn)行了全面的調(diào)研。特別地，我們首先從網(wǎng)絡(luò)架構(gòu)、監(jiān)督級別、學(xué)習(xí)范式和目標(biāo)/實例級別檢測等不同角度回顧了深度顯著性目標(biāo)檢測(SOD)算法。然后，我們總結(jié)現(xiàn)有的SOD評估數(shù)據(jù)集和指標(biāo)。然后，在前人工作的基礎(chǔ)上，仔細(xì)編制了SOD方法的基準(zhǔn)測試結(jié)果，并對比較結(jié)果進(jìn)行了詳細(xì)的分析。此外，我們通過構(gòu)造一個新的具有豐富特征標(biāo)注的顯著性目標(biāo)檢測(SOD)數(shù)據(jù)集，研究了不同特征下SOD算法的性能，這在以前的研究中還很少涉及。我們首次在該領(lǐng)域進(jìn)一步分析了深層SOD模型的魯棒性和可移植性。我們還研究了輸入擾動的影響，以及現(xiàn)有SOD數(shù)據(jù)集的泛化和hardness硬度。最后，討論了顯著性目標(biāo)檢測(SOD)存在的一些問題和挑戰(zhàn)，并指出了今后可能的研究方向。所有顯著性預(yù)測圖、我們構(gòu)建的帶標(biāo)注的數(shù)據(jù)集和用于評估的代碼都可以在https://github.com/wenguanwang/SODsurvey上獲得。
參考鏈接：
https://arxiv.org/abs/1904.09146
代碼鏈接：
https://github.com/wenguanwang/SODsurvey
請關(guān)注專知公眾號（點擊上方藍(lán)色專知關(guān)注）
后臺回復(fù)“顯著性目標(biāo)檢測綜述” 就可以獲取最新論文的下載鏈接~
引言
顯著性目標(biāo)檢測(SOD)是為了突出圖像中顯著的目標(biāo)區(qū)域。SOD不同于起源于認(rèn)知和心理學(xué)研究領(lǐng)域的凝視點預(yù)測(FP)，它被廣泛應(yīng)用于不同領(lǐng)域的應(yīng)用。在計算機視覺中，SOD的采樣應(yīng)用包括圖像理解[1]、[2]、圖像描述生成（image captioning）[3]-[5]、目標(biāo)檢測[6]、[7]，無監(jiān)督視頻目標(biāo)分割[8]、[9]，語義分割[10]-[12]，行人重識別[13]、[14]等。在計算機圖形學(xué)中，SOD被廣泛應(yīng)用于非真實感渲染[15]、[16]、圖像自動裁剪[17]、圖像重定向[18]、[19]、視頻摘要[20]、[21]等任務(wù)。在機器人領(lǐng)域的示例應(yīng)用，如人機交互[22]、[23]和目標(biāo)發(fā)現(xiàn)[24]、[25]的場景理解也受益于SOD。
近年來，隨著深度學(xué)習(xí)技術(shù)的復(fù)興，顯著性目標(biāo)檢測(SOD)得到了顯著的改善，這要歸功于強大的表示學(xué)習(xí)方法。自2015年首次推出[26]-[28]以來，基于深度學(xué)習(xí)的SOD(或稱深度SOD)算法很快就顯示出優(yōu)于傳統(tǒng)解決方案的性能，并一直占據(jù)各種基準(zhǔn)測試排行榜的榜首。另一方面，已經(jīng)有數(shù)百篇關(guān)于深度SOD的研究論文發(fā)表，這使得它對于有效地了解當(dāng)前的技術(shù)水平變得非常重要。
在本文中，作者提供了深度學(xué)習(xí)時代的顯著性目標(biāo)檢測的全面深入調(diào)查。綜述旨在全面涵蓋深度SOD和相關(guān)問題的各個方面，從算法分類到未解決的開放問題。除了對現(xiàn)有的SOD方法和數(shù)據(jù)集進(jìn)行分類研究外，還研究了一些重要的、但在很大程度上尚未得到充分研究的問題，如SOD中特征的影響，以及SOD模型的魯棒性和可移植性。對于這些新穎的研究，作者構(gòu)建了一個新的數(shù)據(jù)集和標(biāo)注，并在前人研究的基礎(chǔ)上推導(dǎo)出baselines。所有顯著性預(yù)測圖、構(gòu)建的帶標(biāo)注的數(shù)據(jù)集和用于評估的代碼都可以在https://github.com/wenguanwang/SODsurvey上獲得。
圖1 顯著性目標(biāo)檢測(SOD)的簡要年表。最早的SOD模型可以追溯到Liu et al. [29]和Achanta et al. [30]。2015年，SOD模型首次采用深度學(xué)習(xí)技術(shù)。有關(guān)更詳細(xì)的描述，請參見原文。
表1 總結(jié)之前的工作。
在本文中，作者的貢獻(xiàn)總結(jié)如下:
從多個角度對深度SOD模型進(jìn)行系統(tǒng)回顧。根據(jù)網(wǎng)絡(luò)架構(gòu)、監(jiān)督級別、學(xué)習(xí)范式等對現(xiàn)有的深度SOD模型進(jìn)行分類和總結(jié)。所提出的分類旨在幫助研究人員更深入地了解SOD在深度學(xué)習(xí)時代的關(guān)鍵特征。
一種基于屬性特征的深度SOD模型性能評價方法。并提供了考慮對象類別、場景類別和挑戰(zhàn)因素的帶標(biāo)注的屬性特征。在此基礎(chǔ)上，對六種常用的SOD模型的性能進(jìn)行了評估，并討論了這些屬性特征對不同算法的影響以及深度學(xué)習(xí)技術(shù)帶來的改進(jìn)。
關(guān)于輸入擾動影響的討論。研究了不同類型的圖像擾動對六種典型SOD算法的影響。這項研究有望為噪音頻繁出現(xiàn)的實際應(yīng)用提供有用的建議。
首次對SOD模型進(jìn)行對抗攻擊分析。在諸如識別這樣的典型任務(wù)中，DNA被證明非常容易受到視覺上難以察覺的adversarial attacks，盡管這種attack如何影響SOD模型仍未被研究。文章為這一問題的首次研究提供了精心設(shè)計baseline attacks和評估，這可以作為未來研究深度SOD模型的魯棒性和可移植性的baseline。
跨數(shù)據(jù)集綜合研究。SOD數(shù)據(jù)集的采集往往帶有一定的偏差[41]，因此，采用代表性的基線模型對現(xiàn)有的SOD數(shù)據(jù)集進(jìn)行跨數(shù)據(jù)集泛化研究。
對未決問題和未來方向的概述。文章也深入研究了模型設(shè)計、數(shù)據(jù)集收集、SOD與其他主題的關(guān)系等幾個基本問題，為今后的研究指明了方向。
表2 常用SOD方法綜述。
圖2。過去SOD模型的分類。(a)基于MLP方法; (b)-(f)基于FCN的方法，主要使用(b) single-stream網(wǎng)絡(luò)、(c) multi-stream網(wǎng)絡(luò)、(d) side-out fusion網(wǎng)絡(luò)、(e) bottom-up/top-down網(wǎng)絡(luò)和(f) branch網(wǎng)絡(luò)架構(gòu)。(g)基于混合網(wǎng)絡(luò)的方法。
表3 統(tǒng)計流行的SOD數(shù)據(jù)集。
表4 在6個著名數(shù)據(jù)集上對29個最先進(jìn)的深度SOD模型和3個性能最好的經(jīng)典SOD方法的基準(zhǔn)測試結(jié)果。
圖4 從6個SOD數(shù)據(jù)集中隨機選取圖像作為混合基準(zhǔn)的樣本圖像。顯著的區(qū)域被一致地突出顯示。列出了相應(yīng)的屬性。有關(guān)更詳細(xì)的描述，請參見5.2節(jié)。
表7 基于F-measure的上下100幅圖像屬性統(tǒng)計。(.)表示具有特定屬性的圖像的百分比。ND-avg表示三種最優(yōu)啟發(fā)式模型的平均結(jié)果:HS[34]、DRFI[48]和wCtr[35]。D-avg表示三個表現(xiàn)最好的深度模型的平均結(jié)果:DGRL[88]、PAGR[89]和PiCANet[39]。(兩個最大的變化，紅色為正，藍(lán)色為負(fù);)
結(jié)論
本文是首次以深度學(xué)習(xí)技術(shù)為核心對SOD進(jìn)行的全面綜述。作者首先從網(wǎng)絡(luò)架構(gòu)、監(jiān)督級別等多個不同的角度對基于深度學(xué)習(xí)的顯著性目標(biāo)檢測(SOD)模型進(jìn)行仔細(xì)的回顧和組織。然后，總結(jié)了流行的SOD數(shù)據(jù)集和評估標(biāo)準(zhǔn)，并編寫了一個覆蓋主要SOD方法的全面性能的基準(zhǔn)。
所有顯著性預(yù)測圖、我們構(gòu)建的數(shù)據(jù)集、標(biāo)注和用于評估的代碼都將會Open。由于深度學(xué)習(xí)技術(shù)的驚人發(fā)展，SOD取得了顯著的進(jìn)步，但仍有很大的改進(jìn)空間。我們期望這項調(diào)查將提供一種有效的方式來了解SOD的現(xiàn)狀，更重要的是，可以為未來的SOD探索提供見解。
