一、深度與模塊化

對于一個分類的問題的簡化，我們可以先訓(xùn)練一個Basic classfier，然后將其共享給following classfier，通過多層的分類器進行特征的提取，用較少的數(shù)據(jù)就可以訓(xùn)練好網(wǎng)絡(luò)。而在deep的模型當(dāng)中，Basic classfier是由神經(jīng)網(wǎng)絡(luò)自己學(xué)到的，然后通過更多層的網(wǎng)絡(luò)可以使得classfier逐漸學(xué)到更加深層次的特征。這就是deep network能夠work的原因。

二、模塊化與語音識別

語音識別的大致步驟：

①將聲音信號的特征轉(zhuǎn)化為狀態(tài)信息（即對應(yīng)標(biāo)簽）。

②將狀態(tài)轉(zhuǎn)化成音素

③將音素轉(zhuǎn)化成為文字

④考慮同音異字的問題

傳統(tǒng)方法：

HMM-GMM，每一個音素都有自己獨立的分布，找出所有音素的分布，然后根據(jù)條件概率求出所給的數(shù)據(jù)屬于哪一個音素。

DNN：

所有的狀態(tài)都共用一個DNN。訓(xùn)練時DNN會根據(jù)訓(xùn)練數(shù)據(jù)來學(xué)習(xí)人所發(fā)出的聲音時的舌頭位置，然后根據(jù)不同的舌頭位置將發(fā)出聲音映射到不同的特征空間從而達(dá)到分類的目的。

相比于傳統(tǒng)的語音識別方法，DNN可以利用同一組的檢測器來識別不同的語音，做到了模塊化，使得參數(shù)的使用更加有效率。

Universality Theorem指出：對于所有的函數(shù) f ： RN→RM 都可以用只有一個隱藏層的神經(jīng)網(wǎng)絡(luò)來實現(xiàn)，只要隱藏單元的個數(shù)足夠。雖然淺層的神經(jīng)網(wǎng)絡(luò)可以擬合任何的函數(shù)，但是采用深層的結(jié)構(gòu)可以提高模型的效率，因為深度的網(wǎng)絡(luò)可以表征更加復(fù)雜的特征空間（保證淺層與深層的網(wǎng)絡(luò)具有同樣數(shù)量的參數(shù)），即可以通過相對較少的參數(shù)便可以實現(xiàn)淺層神經(jīng)網(wǎng)絡(luò)的功能?？梢灶惐入娐分械亩鄬娱T電路可以利用較少的門來實現(xiàn)一層門電路的功能。也可以類比剪窗花的過程，通過對折我們可以把特征空間進行對折，通過較少的幾剪（數(shù)據(jù)）便可以剪出復(fù)雜的形狀。

三、端到端的學(xué)習(xí)

通過一個較為復(fù)雜的function將多個simple function組合在一起，端到端的網(wǎng)絡(luò)可以自動地學(xué)習(xí)到每一個simple function應(yīng)該完成的任務(wù)。

在傳統(tǒng)的語音識別的過程中需要大量的手工提取工作，流程如下圖所示：

圖片中只有GMM是需要通過訓(xùn)練數(shù)據(jù)進行訓(xùn)練的，其余均為根據(jù)先驗的經(jīng)驗來進行設(shè)計。

而在深度學(xué)習(xí)中的語音識別的架構(gòu)如下圖所示：

每個函數(shù)都可以通過數(shù)據(jù)來進行訓(xùn)練，學(xué)習(xí)到函數(shù)中的參數(shù)。在圖像識別中，端到端相對于傳統(tǒng)方法的優(yōu)勢與語音識別類似。

四、深度可以完成復(fù)雜的任務(wù)

①處理相似的輸入，但不同的輸出問題

②處理不同的輸入，但相似的輸出問題

深度學(xué)習(xí)可以通過多個layer的轉(zhuǎn)換學(xué)習(xí)更高維度的特征來解決更加復(fù)雜的任務(wù)。