开心六月综合激情婷婷|欧美精品成人动漫二区|国产中文字幕综合色|亚洲人在线成视频

今天早上吃完飯，在去往實(shí)驗(yàn)室的路上，腦袋了突然冒出一個(gè)奇怪的想法，就是萬(wàn)一將來(lái)有機(jī)會(huì)去心儀神往的百度、阿里這些深度學(xué)習(xí)的尖端企業(yè)去工作的話，人家公司的HR問(wèn)我“既然你是做DeepLearning研究的，那你對(duì)深度學(xué)習(xí)有什么個(gè)人體會(huì)？”，我該怎么說(shuō)呢？不要覺(jué)得自己將來(lái)進(jìn)不了百度、進(jìn)不了阿里，一切皆有可能，因此為了這一丟丟的可能性，我就在食堂去往實(shí)驗(yàn)室的路上，用這二十分鐘的時(shí)間稍稍把自己腦子中的想法總結(jié)總結(jié)，現(xiàn)在到了實(shí)驗(yàn)室了，寫(xiě)篇博客和大家交流交流，這篇博客純屬我個(gè)人一時(shí)的頭腦風(fēng)暴，沒(méi)有圖沒(méi)有代碼，稍顯枯燥，麻煩大家多給點(diǎn)耐心吧。搞了一年多的深度學(xué)習(xí)理論，回過(guò)頭來(lái)想想，有三點(diǎn)值得一提：深度學(xué)習(xí)的特征提取能力為什么會(huì)強(qiáng)？深度學(xué)習(xí)應(yīng)該用什么設(shè)備？深度學(xué)習(xí)和人工智能有何緊密聯(lián)系？

這個(gè)問(wèn)題困擾著很多深度學(xué)習(xí)的領(lǐng)域的大牛，很多人都希望能夠解決這個(gè)問(wèn)題，對(duì)應(yīng)的就是試圖從理論層面解讀深度學(xué)習(xí)結(jié)構(gòu)的優(yōu)勢(shì)所在以及產(chǎn)生這種優(yōu)勢(shì)的原因。畢竟ImageNet都快被完?duì)€了，CNN的參數(shù)也幾乎被調(diào)遍了，但本質(zhì)問(wèn)題依然沒(méi)有解決，人類的求知本能迫使我們?nèi)ハ耄骸癉eepLearning為什么 這樣厲害”？我覺(jué)得有一篇文章堪稱DeepLearning理論探索的代表之作，那就是湯曉鷗教授團(tuán)隊(duì)的“DeepID三部曲”中的第三篇文章，文章中對(duì)卷積神經(jīng)網(wǎng) 絡(luò)中各個(gè)卷積核的形式、卷積層輸出特征的特點(diǎn)都做了很詳細(xì)的研究分析，可以算是卷積神經(jīng)網(wǎng)絡(luò)理論分析的開(kāi)端。不過(guò)由于我目前沒(méi)有硬件條件去運(yùn)行一個(gè)一二十 層的CNN，但這并不能阻止我去思考問(wèn)題的本質(zhì)，因此我準(zhǔn)備從我的研究生課題“子空間方法深度化改造”的角度來(lái)對(duì)這個(gè)問(wèn)題進(jìn)行一點(diǎn)點(diǎn)解讀。
子空間深度化是2015年才提出的一個(gè)概念，目的就是將經(jīng)典的子空間特征提取方法和識(shí)別方法（如Eigenface和Fisherface）進(jìn)行堆疊， 重點(diǎn)對(duì)比分析深度化改造前后的模型在特征提取能力方面的改進(jìn)，這個(gè)研究方向的鼻祖當(dāng)屬魯繼文和馬毅兩位深度學(xué)習(xí)領(lǐng)域的大牛，他們提出的PCANet算法一 鳴驚人，提醒了我們深度學(xué)習(xí)原來(lái)還可以這樣研究，他們?cè)凇禤CANet: A Simple Deep Learning Baseline for Image Classification?》一文中說(shuō)的明白“我們提出一個(gè)簡(jiǎn)單的深度學(xué)習(xí)框架，為后續(xù)的深度學(xué)習(xí)研究提供一個(gè)基準(zhǔn)”，我也是在這篇文章的啟發(fā)下開(kāi)始做這個(gè)方向。
我個(gè)人認(rèn)為子空間深度化改進(jìn)研究得出的研究成果（PCANet、LDANet、RandNet）雖然在識(shí)別率方面與卷積神經(jīng)網(wǎng)絡(luò)相比沒(méi)有明顯的優(yōu)勢(shì)，但其更容易去回答“深度學(xué)習(xí)的特征提取能力為何如此之強(qiáng)？”這個(gè)問(wèn)題。因?yàn)閱螌拥腜CA、Fisher特征識(shí)提取識(shí)別模型大家都再熟悉不過(guò)，深度化改造之 后，加深了結(jié)構(gòu)（兩層或者多層），但基本的映射核、映射方式都沒(méi)變，從單一變量法的角度分析，改造之后模型特征提取能力的提升只能歸功于改造之后的深度結(jié) 構(gòu)。至于模型的特征提取能力到底提升了多少，大家可以查閱那篇文獻(xiàn)，我這里給出一個(gè)通俗的比喻，改造前，這個(gè)單層模型只是Eigenface和 Fisherface，改造之后它們就搖身一變，成了能夠在某些領(lǐng)域甚至可以與CNN媲美的DeepLearning。因此我認(rèn) 為，DeepLearning之所以強(qiáng)，很大程度上就是得益于它的深度結(jié)構(gòu)，這也正好印證了Hinton的觀點(diǎn)：多隱層神經(jīng)網(wǎng)絡(luò)具有更為優(yōu)異的特征學(xué)習(xí)能力。

做深度學(xué)習(xí)就得想辦法加速，這個(gè)沒(méi)得商量（當(dāng)然PCANet這樣的模型除外），加速的手段有兩個(gè)，一是專用神經(jīng)網(wǎng)絡(luò)芯片，而是英偉達(dá)的N卡。
想想當(dāng)時(shí)自己之所以關(guān)注這個(gè)加速問(wèn)題，說(shuō)真的主要還是羨慕。由于我剛剛?cè)胧稚疃葘W(xué)習(xí)時(shí)，也是一腔熱血，立志研究CNN，調(diào)得一手好試，但很快發(fā)現(xiàn)我目前的硬件條件是達(dá)不到的，沒(méi)有一兩塊泰坦級(jí)別的顯卡（必須是英偉達(dá)的），一切都是浮云。人就是這樣，越羨慕什么就越想了解什么。因此在平時(shí)看到有關(guān)神經(jīng)網(wǎng)絡(luò)加速方面的資料時(shí)都會(huì)格外注意，一個(gè)偶然的機(jī)會(huì)看了一本CCF的專刊，題名就叫《類腦計(jì)算與神經(jīng)網(wǎng)絡(luò)加速》，從而對(duì)深度學(xué)習(xí)的加速設(shè)備問(wèn)題有了一定的、系統(tǒng)的理解。
首先，神經(jīng)網(wǎng)絡(luò)加速的手段有兩個(gè)，一是專用神經(jīng)網(wǎng)絡(luò)芯片，二是英偉達(dá)的N卡。說(shuō)實(shí)話這兩個(gè)手段都是雙刃劍，各有利弊。神經(jīng)網(wǎng)絡(luò)芯片的加速比非常高，實(shí)驗(yàn)證明其加速比是同品級(jí)英偉達(dá)N卡的2.5倍甚至更高，對(duì)應(yīng)的缺點(diǎn)就是神經(jīng)網(wǎng)絡(luò)芯片對(duì)算法的要求比較苛刻，具體說(shuō)就是一種型號(hào)的神經(jīng)網(wǎng)絡(luò)芯片只能加速幾種甚至一種神經(jīng)網(wǎng)絡(luò)算法，這也是芯片的硬件結(jié)構(gòu)限制。相應(yīng)的英偉達(dá)的GPU雖然在加速性能上比神經(jīng)網(wǎng)絡(luò)芯片差一點(diǎn)，但是其泛化性能巨強(qiáng)，一塊GPU幾乎可以加速所有的神經(jīng)網(wǎng)絡(luò)算法，畢竟有CUDA編程，GPU本身并不直接接觸DeepLearning，因此無(wú)論何種神經(jīng)網(wǎng)絡(luò)算法，在GPU看來(lái)都是一樣的，加速矩陣運(yùn)算就可以了。綜上，我個(gè)人認(rèn)為，在算法研究開(kāi)發(fā)、調(diào)試的過(guò)程中可以用GPU加速，在產(chǎn)品實(shí)用階段就考慮用神經(jīng)網(wǎng)絡(luò)芯片了。舉個(gè)例子，2014年谷歌的VGG模型，主題是“把CNN搞得更深”，8層到16層層層測(cè)試，在這個(gè)測(cè)試過(guò)程中顯然要用GPU來(lái)干，等測(cè)試完成了，知道多少層最優(yōu)，什么參數(shù)設(shè)置最合理，再放到專用神經(jīng)網(wǎng)絡(luò)芯片上生產(chǎn)就可以了。

之所以提這一點(diǎn)，主要是受最近阿爾法狗人機(jī)大戰(zhàn)的影響。在我寫(xiě)這篇博客的時(shí)候阿爾法狗已經(jīng)以4:1的比分贏得勝利。當(dāng)年IBM的深藍(lán)，靠著大規(guī)模集群的超級(jí)計(jì)算能力，用暴力搜索的方式在國(guó)際象棋上戰(zhàn)勝了人類，如今阿爾法狗靠著深度學(xué)習(xí)在圍棋上戰(zhàn)勝了人類。不得不說(shuō)，21世紀(jì)DeepLearning成為了人工智能的核心，說(shuō)到這里就可以扯一點(diǎn)點(diǎn)類腦計(jì)算的知識(shí)。深度學(xué)習(xí)火了，就有人開(kāi)始想用它來(lái)造機(jī)器人，來(lái)模擬人腦。其中在類腦計(jì)算過(guò)程中給我印象最深的就是神經(jīng)擬態(tài)計(jì)算機(jī)。所謂神經(jīng)擬態(tài)，就是最原始、最大化的模擬人腦的神經(jīng)元，但是生物系統(tǒng)是模擬的，沒(méi)錯(cuò)，人腦也是模擬系統(tǒng)，所以神經(jīng)擬態(tài)計(jì)算機(jī)也拋棄了數(shù)字形式，改用模擬計(jì)算機(jī)。你人腦中的神經(jīng)元怎么連我這里的模擬神經(jīng)元就怎么連，你人腦有多少神經(jīng)元我這里就造多少神經(jīng)元，因此有大牛推測(cè)：假如規(guī)模是唯一瓶頸的話，機(jī)器人將會(huì)把人類當(dāng)寵物。原因很明確：人類經(jīng)過(guò)幾萬(wàn)年的進(jìn)化才達(dá)到現(xiàn)在的腦容量，而計(jì)算機(jī)中芯片的規(guī)模只需幾年就可以翻番。而且這里我也發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：只要什么技術(shù)火了，總會(huì)有人第一時(shí)間把它往人工智能方面用，當(dāng)年的超級(jí)計(jì)算機(jī)、現(xiàn)在的極深層DeepLearning，看來(lái)只要是人工智能不統(tǒng)治世界，人類就永遠(yuǎn)不會(huì)放棄研究。

注：各位有什么好的想法可以來(lái)探討下，大家共同進(jìn)步！