電子發(fā)燒友App
1. 簡單介紹
在機器學習和認知科學領域，人工神經(jīng)網(wǎng)絡（artificial neural network，縮寫ANN），簡稱神經(jīng)網(wǎng)絡（neural network，縮寫NN）或類神經(jīng)網(wǎng)絡，是一種模仿生物神經(jīng)網(wǎng)絡(動物的中樞神經(jīng)系統(tǒng)，特別是大腦)的結構和功能的數(shù)學模型或計算模型，用于對函數(shù)進行估計或近似。神經(jīng)網(wǎng)絡由大量的人工神經(jīng)元聯(lián)結進行計算。大多數(shù)情況下人工神經(jīng)網(wǎng)絡能在外界信息的基礎上改變內(nèi)部結構，是一種自適應系統(tǒng)?，F(xiàn)代神經(jīng)網(wǎng)絡是一種非線性統(tǒng)計性數(shù)據(jù)建模工具。典型的神經(jīng)網(wǎng)絡具有以下三個部分：
結構 （Architecture） 結構指定了網(wǎng)絡中的變量和它們的拓撲關系。例如，神經(jīng)網(wǎng)絡中的變量可以是神經(jīng)元連接的權重（weights）和神經(jīng)元的激勵值（activities of the neurons）。
激勵函數(shù)（Activity Rule） 大部分神經(jīng)網(wǎng)絡模型具有一個短時間尺度的動力學規(guī)則，來定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動來改變自己的激勵值。一般激勵函數(shù)依賴于網(wǎng)絡中的權重（即該網(wǎng)絡的參數(shù)）。
學習規(guī)則（Learning Rule）學習規(guī)則指定了網(wǎng)絡中的權重如何隨著時間推進而調(diào)整。這一般被看做是一種長時間尺度的動力學規(guī)則。一般情況下，學習規(guī)則依賴于神經(jīng)元的激勵值。它也可能依賴于監(jiān)督者提供的目標值和當前權重的值。
2. 初識神經(jīng)網(wǎng)絡
如上文所說，神經(jīng)網(wǎng)絡主要包括三個部分：結構、激勵函數(shù)、學習規(guī)則。圖1是一個三層的神經(jīng)網(wǎng)絡，輸入層有d個節(jié)點，隱層有q個節(jié)點，輸出層有l(wèi)個節(jié)點。除了輸入層，每一層的節(jié)點都包含一個非線性變換。
那么為什么要進行非線性變換呢？
（1）如果只進行線性變換，那么即使是多層的神經(jīng)網(wǎng)絡，依然只有一層的效果。類似于0.6*(0.2x1+0.3x2)=0.12x1+0.18x2。
（2）進行非線性變化，可以使得神經(jīng)網(wǎng)絡可以擬合任意一個函數(shù),圖2是一個四層網(wǎng)絡的圖。
下面使用數(shù)學公式描述每一個神經(jīng)元工作的方式
（1）輸出x
（2）計算z=w*x
（3）輸出new_x = f(z)，這里的f是一個函數(shù)，可以是sigmoid、tanh、relu等，f就是上文所說到的激勵函數(shù)。
3. 反向傳播(bp)算法
有了上面的網(wǎng)絡結構和激勵函數(shù)之后，這個網(wǎng)絡是如何學習參數(shù)（學習規(guī)則）的呢？
首先我們先定義下本文使用的激活函數(shù)、目標函數(shù)
（1）激活函數(shù)（sigmoid）：
def sigmoid(z): return 1.0/(1.0+np.exp(-z))sigmoid函數(shù)有一個十分重要的性質(zhì)：，即計算導數(shù)十分方便。
def sigmoid_prime(z): return sigmoid(z)*(1-sigmoid(z))下面給出一個簡單的證明：
（2）目標函數(shù)（差的平方和），公式中的1/2是為了計算導數(shù)方便。
然后，這個網(wǎng)絡是如何運作的
（1）數(shù)據(jù)從輸入層到輸出層，經(jīng)過各種非線性變換的過程即前向傳播。
def feedforward(self, a): for b, w in zip(self.biases, self.weights): a = sigmoid(np.dot(w, a)+b) return a其中，初始的權重（w）和偏置（b）是隨機賦值的
biases = [np.random.randn(y, 1) for y in sizes[1:]] weights = [np.random.randn(y, x) for x, y in zip(sizes[:-1], sizes[1:])]2）參數(shù)更新，即反向傳播
在寫代碼之前，先進行推導，即利用梯度下降更新參數(shù)，以上面的網(wǎng)絡結構（圖1）為例
（1）輸出層與隱層之間的參數(shù)更新
（2）隱層與輸入層之間的參數(shù)更新
工商網(wǎng)監(jiān)
評論