深度學習第①篇（文末附大量資料）
一、深度學習的起源與概念
深度學習的概念由Hinton等人于2006年提出。深度學習可以簡單理解為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的拓展。如下圖所示，深度學習與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)之間有相同的地方，二者的相同之處在于，深度學習采用了與神經(jīng)網(wǎng)絡(luò)相似的分層結(jié)構(gòu)：系統(tǒng)是一個包括輸入層、隱層（可單層、可多層）、輸出層的多層網(wǎng)絡(luò)，只有相鄰層的節(jié)點之間有連接，而同一層以及跨層節(jié)點之間相互無連接。
傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)
深度學習框架將特征和分類器結(jié)合到一個框架中，用數(shù)據(jù)去學習特征，在使用中減少了手工設(shè)計特征的巨大工作量?？此囊粋€別名：無監(jiān)督特征學習（Unsupervised Feature Learning），就可以顧名思義了。無監(jiān)督（Unsupervised）學習的意思就是不需要通過人工方式進行樣本類別的標注來完成學習。因此，深度學習是一種可以自動地學習特征的方法。
深度學習通過學習一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，只需簡單的網(wǎng)絡(luò)結(jié)構(gòu)即可實現(xiàn)復雜函數(shù)的逼近，并展現(xiàn)了強大的從大量無標注樣本集中學習數(shù)據(jù)集本質(zhì)特征的能力。深度學習能夠獲得可更好地表示數(shù)據(jù)的特征，同時由于模型的層次深（通常有5層、6層，甚至10多層的隱藏層節(jié)點）、表達能力強，因此有能力表示大規(guī)模數(shù)據(jù)。對于圖像、語音這種特征不明顯（需要手工設(shè)計且很多沒有直觀的物理含義）的問題，深度模型能夠在大規(guī)模訓練數(shù)據(jù)上取得更好的效果。相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，深度神經(jīng)網(wǎng)絡(luò)作出了重大的改進，在訓練上的難度（如梯度彌散問題）可以通過“逐層預訓練”來有效降低。
值的注意的是，深度學習不是萬能的，像很多其他方法一樣，它需要結(jié)合特定領(lǐng)域的先驗知識，需要和其他模型結(jié)合才能得到最好的結(jié)果。此外，類似于神經(jīng)網(wǎng)絡(luò)，深度學習的另一局限性是可解釋性不強，像個“黑箱子”一樣不知為什么能取得好的效果，以及不知如何有針對性地去具體改進，而這有可能成為產(chǎn)品升級過程中的阻礙。
近年來，深度學習的發(fā)展逐漸成熟。2012年6月，《紐約時報》披露了Google Brain項目，吸引了公眾的廣泛關(guān)注。這個項目是由著名的斯坦福大學的機器學習教授Andrew Ng和在大規(guī)模計算機系統(tǒng)方面的世界頂尖專家Jeff Dean共同主導，用16,000個CPU Core的并行計算平臺去訓練含有10億個節(jié)點的深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN），使其能夠自我訓練，對2萬個不同物體的1,400萬張圖片進行辨識。在開始分析數(shù)據(jù)前，并不需要向系統(tǒng)手工輸入任何諸如“臉、肢體、貓的長相是什么樣子”這類特征。Jeff Dean說：“我們在訓練的時候從來不會告訴機器：‘這是一只貓’（即無標注樣本）。系統(tǒng)其實是自己發(fā)明或領(lǐng)悟了‘貓’的概念。
2014年3月，同樣也是基于深度學習方法，F(xiàn)acebook的DeepFace項目使得人臉識別技術(shù)的識別率已經(jīng)達到了97.25%，只比人類識別97.5%的正確率略低那么一點點，準確率幾乎可媲美人類。該項目利用了9層的神經(jīng)網(wǎng)絡(luò)來獲得臉部表征，神經(jīng)網(wǎng)絡(luò)處理的參數(shù)高達1.2億。
以及2016年3月人工智能圍棋比賽，由位于英國倫敦的谷歌（Google）旗下DeepMind公司的戴維·西爾弗、艾佳·黃和戴密斯·哈薩比斯與他們的團隊開發(fā)的AlphaGo戰(zhàn)勝了世界圍棋冠軍、職業(yè)九段選手李世石，并以4:1的總比分獲勝。AlphaGo的主要工作原理就是深度學習，通過兩個不同神經(jīng)網(wǎng)絡(luò)“大腦”合作來改進下棋：第一大腦：落子選擇器 （Move Picker）和第二大腦：棋局評估器 （Position Evaluator）。這些大腦是多層神經(jīng)網(wǎng)絡(luò)跟那些Google圖片搜索引擎識別圖片在結(jié)構(gòu)上是相似的。它們從多層啟發(fā)式二維過濾器開始，去處理圍棋棋盤的定位，就像圖片分類器網(wǎng)絡(luò)處理圖片一樣。經(jīng)過過濾，13個完全連接的神經(jīng)網(wǎng)絡(luò)層產(chǎn)生對它們看到的局面判斷。這些層能夠做分類和邏輯推理。
二、深度學習的應(yīng)用
深度學習受到世界各國相關(guān)領(lǐng)域研究人員和高科技公司的重視，最廣泛的三個主要研究應(yīng)用領(lǐng)域包括：語音識別、機器視覺和自然語言處理。
語音識別方面： 從2009年開始，微軟亞洲研究院的語音識別專家們和深度學習領(lǐng)軍人物Hinton合作。2011年微軟公司推出基于深度神經(jīng)網(wǎng)絡(luò)的語音識別系統(tǒng)，這一成果將語音識別領(lǐng)域已有的技術(shù)框架完全改變。采用深度神經(jīng)網(wǎng)絡(luò)后，樣本數(shù)據(jù)特征間相關(guān)性信息得以充分表示，將連續(xù)的特征信息結(jié)合構(gòu)成高維特征，通過高維特征樣本對深度神經(jīng)網(wǎng)絡(luò)模型進行訓練。由于深度神經(jīng)網(wǎng)絡(luò)采用了模擬人腦神經(jīng)架構(gòu)，通過逐層的進行數(shù)據(jù)特征提取，最終得到適合進行模式分類處理的理想特征。
機器視覺方面：對于圖像的處理是深度學習算法最早嘗試應(yīng)用的領(lǐng)域。早在1989年，加拿大多倫多大學教授Yann LeCun就和他的同事提出了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）它是一種包含卷積層的深度神經(jīng)網(wǎng)絡(luò)模型。通常一個卷機神經(jīng)網(wǎng)絡(luò)架構(gòu)包含兩個可以通過訓練產(chǎn)生的非線性卷積層，兩個固定的子采樣層和一個全連接層，隱藏層的數(shù)量一般至少在5個以上。CNN的架構(gòu)設(shè)計是受到生物學家Hube和Wiesel的動物視覺模型啟發(fā)而發(fā)明的，尤其是模擬動物視覺皮層的V1層和V2層中簡單細胞和復雜細胞在視覺系統(tǒng)的功能。起初卷積神經(jīng)網(wǎng)絡(luò)在小規(guī)模的問題上取得了當時世界最好成果。但是在很長一段時間里一直沒有取得重大突破。主要原因是卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在大尺寸圖像上一直不能取得理想結(jié)果，比如對于像素數(shù)很大的自然圖像內(nèi)容的理解，這使得它沒有引起計算機視覺研究領(lǐng)域足夠的重視。2012年10月，Hinton教授以及他的學生采用更深的卷神經(jīng)網(wǎng)絡(luò)模型在著名的ImageNet問題上取得了世界最好結(jié)果，使得對于圖像識別的領(lǐng)域研究更進一步。
自卷積神經(jīng)網(wǎng)絡(luò)提出以來，在圖像識別問題上并沒有取得質(zhì)的提升和突破，直到2012年Hinton構(gòu)建深度神經(jīng)網(wǎng)絡(luò)才去的驚人的成果。這主要是因為對算法的改進，在網(wǎng)絡(luò)的訓練中引入了權(quán)重衰減的概念，有效的減小權(quán)重幅度，防止網(wǎng)絡(luò)過擬合。更關(guān)鍵的是計算機計算能力的提升，GPU加速技術(shù)的發(fā)展，使得在訓練過程中可以產(chǎn)生更多的訓練數(shù)據(jù)，使網(wǎng)絡(luò)能夠更好的擬合訓練數(shù)據(jù)。2012年國內(nèi)互聯(lián)網(wǎng)巨頭百度公司將相關(guān)最新技術(shù)成功應(yīng)用到人臉識別和自然圖像識別問題，并推出相應(yīng)的產(chǎn)品。現(xiàn)在的深度學習網(wǎng)絡(luò)模型已經(jīng)能夠理解和識別一般的自然圖像。深度學習模型不僅大幅提高了圖像識別的精度，同時也避免了需要消耗大量時間進行人工特征的提取，使得在線運行效率大大提升。
自然語言處理方面： 自然語言處理問題是深度學習在除了語音和圖像處理之外的另一個重要的應(yīng)用領(lǐng)域。數(shù)十年以來，自然語言處理的主流方法是基于統(tǒng)計的模型，人工神經(jīng)網(wǎng)絡(luò)也是基于統(tǒng)計方法模型之一，但在自然語言處理領(lǐng)域卻一直沒有被重視。語言建模時最早采用神經(jīng)網(wǎng)絡(luò)進行自然語言處理的問題。美國NEC研究院最早將深度學習引入到自然語言處理研究中，其研究院從2008年起采用將詞匯映射到一維矢量空間和多層一維卷積結(jié)構(gòu)去解決詞性標注、分詞、命名實體識別和語義角色標注四個典型的自然語言處理問題。他們構(gòu)建了一個網(wǎng)絡(luò)模型用于解決四個不同問題，都取得了相當精確的結(jié)果?？傮w而言，深度學習在自然語言處理上取得的成果和在圖像語音識別方面相差甚遠，仍有待深入研究。
三、深度學習的常用框架
