一、深度信念網(wǎng)絡(luò)（DBN）

深度信念，就是要有至尊寶一樣戴金箍的信念

2006年，神經(jīng)網(wǎng)絡(luò)之父Geoffrey Hinton祭出神器深度信念網(wǎng)絡(luò)，一舉解決了深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題，推動了深度學(xué)習(xí)的快速發(fā)展。 深度信念網(wǎng)絡(luò)（Deep Belief Nets），是一種概率生成模型，能夠建立輸入數(shù)據(jù)和輸出類別的聯(lián)合概率分布。 深度信念網(wǎng)絡(luò)通過采用逐層訓(xùn)練的方式，解決了深層次神經(jīng)網(wǎng)絡(luò)的優(yōu)化問題，通過逐層訓(xùn)練為整個網(wǎng)絡(luò)賦予了較好的初始權(quán)值，使得網(wǎng)絡(luò)只要經(jīng)過微調(diào)就可以達(dá)到最優(yōu)解。 深度信念網(wǎng)絡(luò)的每個隱藏層都扮演著雙重角色：它既作為之前神經(jīng)元的隱藏層，也作為之后神經(jīng)元的可見層。 在逐層訓(xùn)練的時候起到最重要作用的是“受限玻爾茲曼機” 結(jié)構(gòu)上看，深度信念網(wǎng)絡(luò)可以看成受限玻爾茲曼機組成的整體

1. 玻爾茲曼機（BM）

玻爾茲曼機，（Boltzmann Machines，簡稱BM），1986年由大神Hinton提出，是一種根植于統(tǒng)計力學(xué)的隨機神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)中神經(jīng)元只有兩種狀態(tài)（未激活、激活），用二進(jìn)制0、1表示，狀態(tài)的取值根據(jù)概率統(tǒng)計法則決定。 由于這種概率統(tǒng)計法則的表達(dá)形式與著名統(tǒng)計力學(xué)家L.E.Boltzmann提出的玻爾茲曼分布類似，故將這種網(wǎng)絡(luò)取名為“玻爾茲曼機”。 在物理學(xué)上，玻爾茲曼分布是描述理想氣體在受保守外力的作用時，處于熱平衡態(tài)下的氣體分子按能量的分布規(guī)律。 在統(tǒng)計學(xué)習(xí)中，如果我們將需要學(xué)習(xí)的模型看成高溫物體，將學(xué)習(xí)的過程看成一個降溫達(dá)到熱平衡的過程。能量收斂到最小后，熱平衡趨于穩(wěn)定，也就是說，在能量最少的時候，網(wǎng)絡(luò)最穩(wěn)定，此時網(wǎng)絡(luò)最優(yōu)。 玻爾茲曼機（BM）可以用在監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)中。 在無監(jiān)督學(xué)習(xí)中，隱變量可以看做是可見變量的內(nèi)部特征表示，能夠?qū)W習(xí)數(shù)據(jù)中復(fù)雜的規(guī)則。玻爾茲曼機代價是訓(xùn)練時間很長很長很長。2. 受限玻爾茲曼機（RBM）

受限玻爾茲曼機（Restricted Boltzmann Machines，簡稱RBM） 將“玻爾茲曼機”（BM）的層內(nèi)連接去掉，對連接進(jìn)行限制，就變成了“受限玻爾茲曼機”（RBM） 一個兩層的神經(jīng)網(wǎng)絡(luò)，一個可見層和一個隱藏層。 可見層接收數(shù)據(jù)，隱藏層處理數(shù)據(jù)，兩層以全連接的方式相連，同層之前不相連。 受限玻爾茲曼機需要將輸出結(jié)果反饋給可見層，通過讓重構(gòu)誤差在可見層和隱藏層之間循環(huán)往復(fù)地傳播，從而重構(gòu)出誤差最小化的一組權(quán)重系數(shù)。 傳統(tǒng)的反向傳播方法應(yīng)用于深度結(jié)構(gòu)在原則上是可行的，可實際操作中卻無法解決梯度彌散的問題 梯度彌散（gradient vanishing），當(dāng)誤差反向傳播時，傳播的距離越遠(yuǎn)，梯度值就變得越小，參數(shù)更新的也就越慢。 這會導(dǎo)致在輸出層附近，隱藏層的參數(shù)已經(jīng)收斂；而在輸入層附近，隱藏層的參數(shù)幾乎沒有變化，還是隨機選擇的初始值。

二、生成對抗網(wǎng)絡(luò)（GAN）

就像孫悟空和牛魔王一樣搶奪紫霞仙子，進(jìn)入對抗?fàn)顟B(tài)

GAN（Generative Adversarial Network）是由Goodfellow等人于2014年設(shè)計的生成模型，受博弈論中的零和博弈啟發(fā)，將生成問題視作生成器和判別器這兩個網(wǎng)絡(luò)的對抗和博弈。 該方法由是由Goodfellow等人于2014年提出，生成對抗網(wǎng)絡(luò)由一個生成器與一個判別器組成，生成網(wǎng)器從潛在空間中隨機取樣作為輸入，其輸出結(jié)果需要盡量模仿訓(xùn)練集中的真實樣本。 判別器的輸入為真實樣本或生成器的輸出，其目的是將生成器的輸出從真實樣本中盡可能分辨出來。

GAN主要優(yōu)點是超越了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)分類和特征提取的功能，能夠按照真實數(shù)據(jù)的特點生成新的數(shù)據(jù)。 兩個網(wǎng)絡(luò)在對抗中進(jìn)步，在進(jìn)步后繼續(xù)對抗，由生成式網(wǎng)絡(luò)得的數(shù)據(jù)也就越來越完美，逼近真實數(shù)據(jù)，從而可以生成想要得到的數(shù)據(jù)（圖片、序列、視頻等）。1. 生成器（generator）生成器從給定噪聲中（一般是指均勻分布或者正態(tài)分布）產(chǎn)生合成數(shù)據(jù)。試圖產(chǎn)生更接近真實的數(shù)據(jù)。 “生成器像是白骨精，想方設(shè)法從隨機噪聲中模擬真實數(shù)據(jù)樣本的潛在分布，以生成以假亂真的數(shù)據(jù)樣本”2. 判別器（discriminator）判別器分辨生成器的的輸出和真實數(shù)據(jù)。試圖更完美地分辨真實數(shù)據(jù)與生成數(shù)據(jù)。 “判別器是孫悟空，用火眼金睛來判斷是人畜無害的真實數(shù)據(jù)還是生成器假扮的偽裝者” 生成器和判別器都可以采用深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)，建立數(shù)據(jù)的生成模型，使生成器盡可能精確你有沒出數(shù)據(jù)樣本的分布，從學(xué)習(xí)方式上對抗性學(xué)習(xí)屬于無監(jiān)督學(xué)習(xí)，

網(wǎng)絡(luò)訓(xùn)練可以等效為目錄函數(shù)的極大-極小問題

極大：讓判別器區(qū)分真實數(shù)據(jù)和偽造數(shù)據(jù)的準(zhǔn)確率最大化

極?。鹤屔善魃傻臄?shù)據(jù)被判別器發(fā)現(xiàn)的概率最小化

傳統(tǒng)生成模型定義了模型的分布，進(jìn)而求解參數(shù)。比如在已知數(shù)據(jù)滿足正態(tài)分布的前提下，生成模型會通過極大似然估計等方法根據(jù)樣本來求解正態(tài)的均值和方差。 生成對抗網(wǎng)絡(luò)擺脫了對模型分布的依賴，也不限制生成的維度，大大拓寬了生成數(shù)據(jù)樣本的范圍，還能融合不同的損失函數(shù)，增加了設(shè)計的自由度。

三、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）

循環(huán)網(wǎng)絡(luò)，如同月光寶盒，時間在不停地循環(huán)

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network），也可以表示遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network）。循環(huán)神經(jīng)網(wǎng)絡(luò)可以看成是遞歸神經(jīng)網(wǎng)絡(luò)的特例，遞歸神經(jīng)網(wǎng)絡(luò)可以看成是循環(huán)神經(jīng)網(wǎng)絡(luò)的推廣。 卷積神經(jīng)網(wǎng)絡(luò)具有空間上的參數(shù)共享的特性，可以讓同樣的核函數(shù)應(yīng)用在圖像的不同區(qū)域。 把參數(shù)共享調(diào)整到時間維度上，讓神經(jīng)網(wǎng)絡(luò)使用相同權(quán)重系數(shù)來處理具有先后順序的數(shù)據(jù)，得到的就是循環(huán)神經(jīng)網(wǎng)絡(luò)。

時間

循環(huán)神經(jīng)網(wǎng)絡(luò)引入了”時間“的維度，適用于處理時間序列類型的數(shù)據(jù)。
循環(huán)神經(jīng)網(wǎng)絡(luò)就是將長度不定的輸入分割為等長的小塊，再使用相同的權(quán)重系統(tǒng)進(jìn)行處理，從而實現(xiàn)對變長輸入的計算與處理。
比方說媽媽在廚房里突然喊你：“菜炒好了，趕緊來......”，即使后面的話沒有聽清楚，也能猜到十有八九是讓你趕緊吃飯

記憶

循環(huán)神經(jīng)網(wǎng)絡(luò)t時刻的輸出取決于當(dāng)前時刻的輸入，也取決于網(wǎng)絡(luò)前一時刻t-1甚至更早的輸出。

從這個意義上來講，循環(huán)神經(jīng)網(wǎng)絡(luò)引入引入了反饋機制，因而具有了記憶功能。記憶功能使循環(huán)神經(jīng)網(wǎng)絡(luò)能夠提取來自序列自身的信息，輸入序列的內(nèi)部信息存儲在神經(jīng)網(wǎng)絡(luò)的隱藏層中，并隨著時間的推移在隱藏層中流轉(zhuǎn)。循環(huán)網(wǎng)絡(luò)的記憶特性可以用公式表示為

W 表示從輸入到狀態(tài)的權(quán)重矩陣，U 表示從狀態(tài)到狀態(tài)的轉(zhuǎn)移矩陣。
對循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練就是根據(jù)輸出結(jié)果和真實結(jié)果之間的誤差不斷調(diào)整參數(shù) W 和 U，直到達(dá)到預(yù)設(shè)要求的過程，訓(xùn)練方法也是基于梯度的反向傳播算法。 前饋神經(jīng)網(wǎng)絡(luò)某種程序上也具有記憶特性，只要神經(jīng)網(wǎng)絡(luò)參數(shù)經(jīng)過最優(yōu)化，優(yōu)化的參數(shù)就會包含以往數(shù)據(jù)的蹤跡，但是優(yōu)化的記憶只局限于訓(xùn)練數(shù)據(jù)集上，當(dāng)訓(xùn)練的醋應(yīng)用到新的測試數(shù)據(jù)集上時，其參數(shù)并不會根據(jù)測試數(shù)據(jù)的表現(xiàn)做出進(jìn)一步調(diào)整。1. 雙向RNN比如有一部電視劇，在第三集的時候才出現(xiàn)的人物，現(xiàn)在讓預(yù)測一下在第三集中出現(xiàn)的人物名字，你用前面兩集的內(nèi)容是預(yù)測不出來的，所以你需要用到第四，第五集的內(nèi)容來預(yù)測第三集的內(nèi)容，這就是雙向RNN的想法

如果想讓循環(huán)神經(jīng)網(wǎng)絡(luò)利用來自未來的信息，就要讓當(dāng)前的狀態(tài)和以后時刻的狀態(tài)建立直聯(lián)系，就是雙向循環(huán)神經(jīng)網(wǎng)絡(luò)。

雙向循環(huán)網(wǎng)絡(luò)包括正向計算和反向計算兩個環(huán)節(jié)

雙向循環(huán)網(wǎng)絡(luò)需要分別計算正向和反向的結(jié)果，并將兩者作為隱藏層的最終參數(shù)。

2. 深度RNN將深度結(jié)構(gòu)引入循環(huán)神經(jīng)網(wǎng)絡(luò)就可以得到深度循環(huán)網(wǎng)絡(luò)。 比如你學(xué)習(xí)英語的時候，背英語單詞一定不會就看一次就記住了所有要考的單詞，一般是帶著先前幾次背過的單詞，然后選擇那些背過但不熟的內(nèi)容或者沒背過的單詞來背

深層雙向RNN 與雙向RNN相比，多了幾個隱藏層，因為他的想法是很多信息記一次記不下來， 深層雙向RNN就是基于這么一個想法，每個隱藏層狀態(tài)h_{t}^{i}既取決于同一時刻前一隱藏層的狀態(tài)h_{t}^{i-1}，也取決于同一隱藏層的狀態(tài)h_{t-1}^{i} 深度結(jié)構(gòu)的作用在于建立更清晰的表示。用“完形填空”來說，需要根據(jù)上下文，來選擇合適的詞語。有些填空只需要根據(jù)它所在的句子便可以推斷出來，這對應(yīng)著單個隱藏層在時間維度上的依賴性；有些填空則可能要通讀整段或全文才能確定，這對應(yīng)了時間維度和空間維度共有的依賴性。3. 遞歸RNN遞歸神經(jīng)網(wǎng)絡(luò)能夠處理具有層次化結(jié)構(gòu)的數(shù)據(jù)，可以看成循環(huán)網(wǎng)絡(luò)的推廣

循環(huán)神經(jīng)網(wǎng)絡(luò)特點是在時間維度上共享參數(shù)，從而展開處理序列，如果展開成樹狀態(tài)結(jié)構(gòu)，用到的就是遞歸神經(jīng)網(wǎng)絡(luò)。遞歸神經(jīng)網(wǎng)絡(luò)首先將輸入數(shù)據(jù)轉(zhuǎn)化為某種拓?fù)浣Y(jié)構(gòu)，再在相同的結(jié)構(gòu)上遞歸使用相同的權(quán)重系數(shù)，通過遍歷方式得到結(jié)構(gòu)化的預(yù)測。 例如，“兩個大學(xué)的老師”有歧義，如果單純拆分為詞序列無法消除歧義。
遞歸神經(jīng)網(wǎng)絡(luò)通過樹狀結(jié)構(gòu)將一個完整的句子打散為若干分量的組合，生成的向量不是樹結(jié)構(gòu)的根節(jié)點。

四、長短期記憶網(wǎng)絡(luò)（LSTM）

如果非要給記憶加一個期限，希望是一萬年

長短期記憶網(wǎng)絡(luò)（LSTM，Long Short-Term Memory）是一種時間循環(huán)神經(jīng)網(wǎng)絡(luò)，為了解決一般的RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）存在的長期依賴問題而專門設(shè)計出來的，論文首次發(fā)表于1997年。由于獨特的設(shè)計結(jié)構(gòu)，LSTM適合于處理和預(yù)測時間序列中間隔和延遲非常長的重要事件。

RNN通過在時間共享參數(shù)引入了記特性，從而可以將先前的信息應(yīng)用在當(dāng)前的任務(wù)上，可是這種記憶通常只有有限的深度。 例如龍珠超或者火影每周更新一集，即使經(jīng)歷了一周的空檔期，我們還是能將前一集的內(nèi)容和新一集的情節(jié)無縫銜接起來。但是RNN的記憶就沒有這么強的延續(xù)性，別說一個星期，5分鐘估計都已經(jīng)歇菜了。 LSTM可以像人的記憶中選擇性地記住一些時間間隔更久遠(yuǎn)的信息，它會根據(jù)組成元素的特性，來判斷不同信息是被遺忘或被記住繼續(xù)傳遞下去。
LSTM就是實現(xiàn)長期記憶用的，實現(xiàn)任意長度的記憶。要求模型具備對信息價值的判斷能力，結(jié)合自身確定哪些信息應(yīng)該保存，哪些信息該舍棄，元還要能決定哪一部分記憶需要立刻使用。4種組成LSTM通常由下面4個模塊組成

① 記憶細(xì)胞（memory cell）
作用是存儲數(shù)值或狀態(tài)，存儲的時限可以是長期也可以是短期 ② 輸入門（input gate）
決定哪些信息在記憶細(xì)胞中存儲 ③ 遺忘門（forget gate）
決定哪些信息從記憶細(xì)胞中丟棄 ④ 輸出門（output gate）
決定哪些信息從記憶細(xì)胞中輸出

五、卷積神經(jīng)網(wǎng)絡(luò)（CNN）

將鮮花用包裝紙沿著對角線卷起來，顧名思義卷積

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network）指至少某一導(dǎo)中用了卷積運算（convolution）來代替矩陣乘法的神經(jīng)網(wǎng)絡(luò)。

1. 卷積是什么卷積是對兩個函數(shù)進(jìn)行的一種數(shù)學(xué)運算，我們稱(f?g)(n)為f,g的卷積

我們令x=τ,y=n?τ，那么x+y=n，相當(dāng)于下面的直線

如果遍歷這些直線，就像毛巾卷起來一樣，顧名思義“卷積”

在卷積網(wǎng)絡(luò)中，卷積本質(zhì)就是以核函數(shù)g作為權(quán)重系數(shù)，對輸入函數(shù)f進(jìn)行加權(quán)求和的過程。 其實把二元函數(shù)U(x,y)=f(x)g(y)卷成一元函數(shù)V(t)，俗稱降維打擊 函數(shù) f 和 g 應(yīng)該地位平等，或者說變量 x 和 y 應(yīng)該地位平等，一種可取的辦法就是沿直線 x+y = t 卷起來；① 擲骰子求兩枚骰子點數(shù)加起來為4的概率，這正是卷積的應(yīng)用場景。 第一枚骰子概率為為f(1)、f(2)、...f(6)
第二枚骰子概率為g(1)、g(2)、...g(m)

② 做饅頭機器不斷的生產(chǎn)饅頭，假設(shè)饅頭生產(chǎn)速度是f(t)，
那么一天生產(chǎn)出來的饅頭總量為

生產(chǎn)出來后會逐漸腐敗，腐敗函數(shù)為g(t)，比如10個饅頭，24小時會腐敗
10?g(t)
一天生產(chǎn)出來的饅頭就是

③ 做魚

卷積看做做菜，輸入函數(shù)是原料，核函數(shù)是菜譜，對于同一輸入函數(shù)鯉魚來說

核函數(shù)中的醬油權(quán)重較大，輸出紅燒魚

核函數(shù)中的糖和醋權(quán)重大較大，輸出西湖醋魚

核函數(shù)中的辣椒權(quán)重較大，輸出朝鮮辣魚

④ 圖像處理假設(shè)一幅圖有噪點，要將它進(jìn)行平滑處理，可以把圖像轉(zhuǎn)為一個矩陣

如果要平滑a1,1點，就把a1,1點附近的組成矩陣f，和g進(jìn)行卷積運算，再填充回去

f 和g的計算如下，其實就是以相反的方向進(jìn)行計算，像卷毛巾一樣

具體參考 ：

何通俗易懂地解釋卷積？ https://www.zhihu.com/question/22298352 卷積為什么叫「卷」積？ https://www.zhihu.com/question/54677157/answer/141245297

2. 卷積神經(jīng)網(wǎng)絡(luò)特性

卷積運算的特性決定了神經(jīng)網(wǎng)絡(luò)適用于處理具有網(wǎng)絡(luò)狀結(jié)構(gòu)的數(shù)據(jù)。 典型的網(wǎng)絡(luò)型數(shù)據(jù)就是數(shù)字圖像，無論是灰度還是彩色圖像，都是定義在二維像素網(wǎng)絡(luò)上的一組標(biāo)題或向量。 卷積神經(jīng)網(wǎng)絡(luò)廣泛地應(yīng)用于圖像與文本識別之中，并逐漸擴展到自然語言處理等其他領(lǐng)域。① 稀疏感知性
卷積層核函數(shù)的大小通常遠(yuǎn)遠(yuǎn)小于圖像的大小。
圖像可能在兩個維度上都有幾千個像素，但核函數(shù)最大不會超過幾十個像素。
選擇較小的核函數(shù)有助于發(fā)現(xiàn)圖像中細(xì)微的局部細(xì)節(jié)，提升算法的存儲效率和運行效率。② 參數(shù)共享性
一個模型中使用相同的參數(shù)。每一輪訓(xùn)練中用單個核函數(shù)去和圖像的所有分塊來做卷積。③ 平移不變性
當(dāng)卷積的輸入產(chǎn)生平衡時，其輸出等于原始輸出相同數(shù)量的平移，說明平移操作和核函數(shù)的作用是可以交換的。

3. 卷積神經(jīng)網(wǎng)絡(luò)分層

當(dāng)輸入圖像被送入卷積神經(jīng)網(wǎng)絡(luò)后，先后要循環(huán)通過卷積層、激勵層和池化層，最后從全連接層輸出分類結(jié)果。① 輸入層
輸入數(shù)據(jù)，通常會做一些數(shù)據(jù)處理，例如去均值、歸一化、 PCA/白化等② 卷積層
卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心部分，參數(shù)是一個或多個隨機初始化的核函數(shù)，核函數(shù)就像按照燈一樣，逐行逐列掃描輸入圖像。掃描完畢后計算出的所有卷積結(jié)果可以構(gòu)成一個矩陣，這個新的矩陣叫特征映射（feature map）。卷積層得到的特征一般會送到激勵層處理③ 激勵層
主要作用是將卷積層的結(jié)果做非線性映射。常見的激勵層函數(shù)有sigmoid、tanh、Relu、Leaky Relu、ELU、Maxout④ 池化層
在連續(xù)的卷基層和激勵層中間，用于壓縮數(shù)據(jù)和參數(shù)的量，用于減少過擬合。
簡而言之，如果輸入是圖像的話，那么池化層的最主要作用就是壓縮圖像。
常見的最大池化做法就是將特征映射劃分為若干個矩形區(qū)域，挑選每個區(qū)域中的最大值。

⑤ 全連接層
兩層之間所有神經(jīng)元都有權(quán)重連接，通常全連接層在卷積神經(jīng)網(wǎng)絡(luò)尾部，輸出分類結(jié)果。

在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練里，待訓(xùn)練的參數(shù)是卷積核。

卷積核：也就是用來做卷積的核函數(shù)。

卷積神經(jīng)網(wǎng)絡(luò)的作用是逐層提取輸入對象的特征，訓(xùn)練采用的也是反向傳播的方法，參數(shù)的不斷更新能夠提升圖像特征提取的精度
責(zé)任編輯:pj