神經(jīng)網(wǎng)絡(luò)介紹

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks）也簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)（NN）。是模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。
20 世紀(jì) 80 年代以來，人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）研究所取得的突破性進(jìn)展。神經(jīng)網(wǎng)絡(luò)辨識(shí)是采用神經(jīng)網(wǎng)絡(luò)進(jìn)行逼近或建模，神經(jīng)網(wǎng)絡(luò)辨識(shí)為解決復(fù)雜的非線性、 不確定、未知系統(tǒng)的控制問題開辟了新途徑。
神經(jīng)網(wǎng)絡(luò)主要應(yīng)用領(lǐng)域有：模式識(shí)別與圖象處理（語音、指紋、故障檢測(cè)和圖象壓縮等）、 控制與優(yōu)化、系統(tǒng)辨識(shí)、預(yù)測(cè)與管理（市場(chǎng)預(yù)測(cè)、風(fēng)險(xiǎn)分析）、通信等。

神經(jīng)網(wǎng)絡(luò)原理

經(jīng)典的神經(jīng)網(wǎng)絡(luò)有以下三個(gè)層次組成：輸入層(input layer), 隱藏層 (hidden layers), 輸出層 (output layers)。

每個(gè)圓圈就是一個(gè)神經(jīng)元。每層與每層之間是沒有連接的，但是層與層之間都有連接。 每個(gè)連接都是帶有權(quán)重值的。隱藏層和輸出層的神經(jīng)元由輸入的數(shù)據(jù)計(jì)算輸出，但輸入層神 經(jīng)元只有輸入，一般指一個(gè)訓(xùn)練數(shù)據(jù)樣本的數(shù)據(jù)。

神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的 基本單元。每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支—樹突組成。
軸突功能是將本神經(jīng)元的輸出信號(hào)(興奮)傳遞給別的神經(jīng)元，其末端的許多神經(jīng)末梢使得興奮可以同時(shí)傳送給多個(gè)神經(jīng)元。樹突的功能是接受來自其它神經(jīng)元的興奮。神經(jīng)元細(xì)胞體將接收到的所有信號(hào)進(jìn)行簡(jiǎn)單地處理后，由軸突輸出。神經(jīng)元的軸突與另外神經(jīng)元神經(jīng)末梢相連的部分稱為突觸。

感知機(jī)

感知機(jī)是一類人造神經(jīng)元，模擬這樣的大腦神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)的過程。

感知機(jī)模型如下圖：

其中 x1，x2 為輸入，b 為偏置，激活函數(shù)被稱為符號(hào)函數(shù)（sign function）

感知機(jī)是一種基本的分類模型，類似于邏輯回歸。不同的是感知機(jī)的邏輯函數(shù)用的是 sign，而邏輯回歸用的是 Sigmoid 函數(shù)，感知機(jī)也具有連接權(quán)重和偏置。

感知機(jī)可以用來處理線性可分類問題，線性可不可分簡(jiǎn)單來說，就是可不可以用一條直線把圖上兩類點(diǎn)劃分開。如第二張圖所示，無論怎么畫直線都無法將兩類點(diǎn)分區(qū)開。

對(duì)于線性不可分問題一般用多層神經(jīng)網(wǎng)絡(luò),
打開 http://playground.tensorflow.org/。
使用 playground 體會(huì)感知機(jī)的分類。

激活函數(shù)

Sigmoid 函數(shù)

sigmoid 函數(shù) 由于其單增及反函數(shù)單增等性，sigmoid 函數(shù)常被用做神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，將變量映射到 0，1 之間。所以主要用來做二分類神經(jīng)網(wǎng)絡(luò)。 由于其平滑、易于求導(dǎo)的特性，處理特征相差不是很大或者復(fù)雜的數(shù)據(jù)效果比較好。

• sigmoid 函數(shù)的公式

• 使用 matplotlib 繪制 Sigmoid 函數(shù)

import numpy as npimport matplotlib.pyplot as plt# 定義sigmoid函數(shù)：將變量定位0-1之間def sigmoid(x):return 1.0 / (1+np.exp(-x))# 生成一串?dāng)?shù)-10 -- 10x = np.arange(-10, 10)# 指定畫布大小fig, ax = plt.subplots(figsize=(12, 4))# 繪制, 指定繪制顏色, x, y, 參數(shù)ax.plot(x, sigmoid(x), 'r')# 顯示繪圖plt.show()

執(zhí)行結(jié)果如圖所示：

雙曲正切函數(shù)（tanh）

雙曲正切函數(shù)（tanh） 是雙曲正弦函數(shù)（sinh）與雙曲余弦函數(shù)（cosh）的比值，語法格式如下：

雙曲正切函數(shù)（tanh）與 tf.sigmoid 非常接近，且與后者具有類似的優(yōu)缺點(diǎn)。
tf.sigmoid 和 tf.tanh 的主要區(qū)別在于后者的值域?yàn)閇-1.0，1.0]。

• 使用 matplotlib 繪制 tanh 函數(shù)

import numpy as npimport matplotlib.pyplot as plt# 準(zhǔn)備x坐標(biāo), 等間距-10 10 之間100個(gè)點(diǎn)x = np.linspace(-10, 10, 100)# y直接調(diào)用numpy函數(shù)封裝好的y = np.tanh(x)# 繪圖plt.plot(x, y)# 顯示plt.show()

后序

陌生領(lǐng)域，感謝尚學(xué)堂的視頻帶領(lǐng)

初步學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，還是蠻激動(dòng)的。
希望以后可以入門 機(jī)器學(xué)習(xí)、人工智能 等領(lǐng)域

加油!