2016年，隨著AlphaGo戰(zhàn)勝了李世石，人工智能與深度學(xué)習(xí)達(dá)到了一個空前火熱的狀態(tài)。很多人也是第一次開始接觸到了深度神經(jīng)網(wǎng)絡(luò)這個概念，但是其實(shí)神經(jīng)網(wǎng)絡(luò)的歷史可以追溯到1943年，1943年的時候，二戰(zhàn)都還沒有結(jié)束。
中間的這段時間里，是由幾個標(biāo)志性的事件影響著神經(jīng)網(wǎng)絡(luò)算法的發(fā)展，其發(fā)展史大概可以分為三個階段，下面我們就圍繞這幾個事件簡要介紹這三個階段。
最早的神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型由Warren McCulloch教授和Walter Pitts教授與1943年在論文A logical calculus of the ideas immanent in nervous activity中提出。論文中提出了一種模擬模擬大腦神經(jīng)元的結(jié)構(gòu)—莫克羅-彼特氏神經(jīng)模型（McCUlloch-Pitts Neuron model），它是一個類似下圖的結(jié)構(gòu)：
人類神經(jīng)元處理信號的原理到現(xiàn)在對我們也并沒有完全清晰，所以莫克羅-彼特氏神經(jīng)模型其實(shí)采用的是簡單的線性加權(quán)的方式來模擬這個過程，其中I為輸入，W為權(quán)重，加權(quán)的和經(jīng)過一個閾值函數(shù)后作為輸出?？梢钥吹?，其實(shí)這個模型和后來的神經(jīng)網(wǎng)絡(luò)里的單個神經(jīng)元已經(jīng)非常像了。所以這個模型性能的好壞完全由分配的權(quán)重決定，然后莫克羅-彼特氏神經(jīng)模型手動分配權(quán)重的方式既麻煩又很難達(dá)到最優(yōu)分類效果。
為了讓計(jì)算機(jī)能夠更加自動且更加合理的設(shè)置權(quán)重，F(xiàn)rank Rosenblatt教授于1958年提出了感知機(jī)模型（perceptron），或者叫感知器模型。感知機(jī)使用特征向量來表示的前饋式人工神經(jīng)網(wǎng)絡(luò)，它是一種二元分類器，在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域中，感知機(jī)也被指為單層的人工神經(jīng)網(wǎng)絡(luò)。
1969年，Marvin Minsky 和 Seymour Papert 在《Perceptrons》書中，仔細(xì)分析了以感知機(jī)為代表的單層神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能及局限，證明感知機(jī)不能解決簡單的異或（XOR）等線性不可分問題，Marvin Minsky教授甚至做出了“基于感知機(jī)的研究注定失敗”的結(jié)論。
由于 Rosenblatt 教授等人沒能夠及時推廣感知機(jī)學(xué)習(xí)算法到多層神經(jīng)網(wǎng)絡(luò)上，又由于《Perceptrons》在研究領(lǐng)域中的巨大影響，及人們對書中論點(diǎn)的誤解，造成了人工神經(jīng)領(lǐng)域發(fā)展的長年停滯及低潮，之后的十多年內(nèi)，基于神經(jīng)網(wǎng)絡(luò)的研究幾乎處于停滯狀態(tài)。
雖然Marvin Minsky教授的結(jié)論是神經(jīng)網(wǎng)絡(luò)在20世紀(jì)70年代低潮的原因之一，但是這不能磨滅Marvin Minsky教授對人工智做出的偉大貢獻(xiàn)，這僅僅是認(rèn)知在某個時間段為的局限性，就像“日心說”一樣。
直到人們認(rèn)識到多層感知機(jī)沒有單層感知機(jī)固有的缺陷及反向傳播算法在80年代的提出，才有所恢復(fù)。1987年，書中的錯誤得到了校正，并更名再版為《Perceptrons - Expanded Edition》。這也是神經(jīng)網(wǎng)絡(luò)發(fā)展的第二個階段。
分布式表達(dá)與反向傳播算法20世紀(jì)80年代末，神經(jīng)網(wǎng)絡(luò)的研究迎來了第二次興起，這源于分布式表達(dá)與反向傳播算法的提出。
分布式知識表達(dá)的核心思想是現(xiàn)實(shí)世界中的知識和概念應(yīng)該通過多個神經(jīng)元來表達(dá)，而模型中的每一個神經(jīng)元也應(yīng)該參與多個概念。分布式只是表達(dá)大大加強(qiáng)了模型的表達(dá)能力，解決了類似異或這種線性不可分的問題。
除了分布式表達(dá)，David Everett Rumelhart教授等人于1986年在自然雜志上首次提出了著名的反向傳播算法，此算法大幅降低了模型訓(xùn)練所需要的時間。直到今天，反向傳播算法仍然是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的主要算法。
然后。在神經(jīng)網(wǎng)絡(luò)發(fā)展的同時，傳統(tǒng)的機(jī)器學(xué)習(xí)算法也取得了突破性的進(jìn)展，支持向量機(jī)算法具有完整的理論基礎(chǔ)，少樣本量等優(yōu)點(diǎn)。同時由于BP算法針對深層網(wǎng)絡(luò)的梯度消失問題，當(dāng)時的數(shù)據(jù)量太小無法支撐深層網(wǎng)絡(luò)訓(xùn)練等問題。興起了沒多久的神經(jīng)網(wǎng)絡(luò)逐步被支持向量機(jī)所取代。
DNN與Deep Learning時間進(jìn)入21世紀(jì)，計(jì)算機(jī)性能進(jìn)一步的提高，GPU加速技術(shù)的出現(xiàn)，使得計(jì)算量不再是阻礙神經(jīng)網(wǎng)絡(luò)發(fā)展的問題。與此同時，互聯(lián)網(wǎng)+的發(fā)展，使得獲取海量數(shù)據(jù)不在像上個世紀(jì)末那么困難，這些背景為神經(jīng)網(wǎng)絡(luò)再次發(fā)展提供了條件。
在這里不得不提的就是ImageNet項(xiàng)目的建立，斯坦福大學(xué)的李飛飛教授開啟了Visual Genome（視覺基因組）計(jì)劃，把語義和圖像結(jié)合起來，締造了當(dāng)前世界上最大的圖像數(shù)據(jù)庫—ImageNet，這個龐大的數(shù)據(jù)庫由來自世界上167個國家的接近5萬個工作者完成，ImageNet的出現(xiàn)使所有人都能夠輕松的獲取足以支撐其深度網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)。同時斯坦福大學(xué)每年都會舉行一個比賽，邀請谷歌、微軟、百度等IT企業(yè)使用ImageNet數(shù)據(jù)庫，而第一個應(yīng)用深度神經(jīng)網(wǎng)絡(luò)的算法—Alexnet，就是ImageNet 競賽2012年冠軍，這個著名的網(wǎng)絡(luò)結(jié)構(gòu)如下圖：
Alexnet取得的突破性進(jìn)展使得神經(jīng)網(wǎng)絡(luò)的研究再一次達(dá)到了一個高峰，隨后其他關(guān)于DNN的更復(fù)雜的結(jié)構(gòu)也陸續(xù)出現(xiàn)，并在除了計(jì)算機(jī)視覺外的諸多其他領(lǐng)域內(nèi)取得了優(yōu)異的成績，如語音識別，自然語言處理等等。
直到2016年，google的AlphaGo戰(zhàn)勝了李世石，深度學(xué)習(xí)作為深層神經(jīng)網(wǎng)絡(luò)的代名詞，被各行各業(yè)的人所熟知。深度學(xué)習(xí)的發(fā)展也開啟了一個AI的新時代。
最后需要指出的一點(diǎn)是，雖然深度學(xué)習(xí)領(lǐng)域的研究人員相比于其他機(jī)器學(xué)習(xí)領(lǐng)域更多的受到大腦工作原理的啟發(fā)，媒體也經(jīng)常出于某種原因強(qiáng)調(diào)深度學(xué)習(xí)和大腦工作原理的相似性（可能這樣顯得更AI），但是現(xiàn)代深度學(xué)習(xí)的發(fā)展已經(jīng)不完全是模擬人腦神經(jīng)元的工作過程，或者可以說目前人類對大腦的工作機(jī)制的認(rèn)知還不足以為當(dāng)下的深度學(xué)習(xí)模型提供指導(dǎo)。（以上這段話摘錄自《TensorFlow：實(shí)戰(zhàn)深度學(xué)習(xí)框架》，個人感覺寫的很有觀點(diǎn)）
