現(xiàn)在提到“神經(jīng)網(wǎng)絡(luò)”和“深度神經(jīng)網(wǎng)絡(luò)”，會覺得兩者沒有什么區(qū)別，神經(jīng)網(wǎng)絡(luò)還能不是“深度”（deep）的嗎？我們常用的 Logistic regression 就可以認(rèn)為是一個不含隱含層的輸出層激活函數(shù)用 sigmoid（logistic） 的神經(jīng)網(wǎng)絡(luò)，顯然 Logistic regression 就不是 deep 的。不過，現(xiàn)在神經(jīng)網(wǎng)絡(luò)基本都是 deep 的，即包含多個隱含層。Why？

1. universality approximation theorem（通用近似定理）

任何連續(xù)的函數(shù) f : RN→RM 都可以用只有一個隱含層的神經(jīng)網(wǎng)絡(luò)表示。（隱含層神經(jīng)元足夠多）

一個神經(jīng)網(wǎng)絡(luò)可以看成是一個從輸入到輸出的映射，那么既然僅含一個隱含層的神經(jīng)網(wǎng)絡(luò)可以表示任何連續(xù)的函數(shù)，為什么還要多個隱含層的神經(jīng)網(wǎng)絡(luò)？

2. why deep？

"Yes, shallow network can represent any function.

However, using deep structure is more effective."

我們可以把僅含一個隱含層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)叫做 shallow 的，把包含多個隱藏層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)叫做 deep 的。

李宏毅教授在他的機(jī)器學(xué)習(xí)視頻中，提出一種叫做 Modularization（模塊化）的解釋。

在多層神經(jīng)網(wǎng)絡(luò)中，第一個隱含層學(xué)習(xí)到的特征是最簡單的，之后每個隱含層使用前一層得到的特征進(jìn)行學(xué)習(xí)，所學(xué)到的特征變得越來越復(fù)雜。 如圖 3 和 4 所示。

low level 中每一個特征在 high level 或多或少被使用，這樣對于每一個 high level 特征，只需要訓(xùn)練一套 low level 特征。是的，low level 特征被共用了，相當(dāng)于將提取 low level 特征單獨(dú)成立了一個模塊，供高層調(diào)用。對于每一個 high level 特征，不需要每次都將 low level 特征訓(xùn)練一遍。這就是 deep 的好處。

在比較深度神經(jīng)網(wǎng)絡(luò)和僅含一個隱含層神經(jīng)網(wǎng)絡(luò)的效果時，需要控制兩個網(wǎng)絡(luò)的 trainable 參數(shù)數(shù)量相同，不然沒有可比性。李宏毅教授在他的機(jī)器學(xué)習(xí)視頻中舉例，相同參數(shù)數(shù)量下，deep 表現(xiàn)更好；這也就意味著，達(dá)到相同的效果，deep 的參數(shù)會更少。

不否認(rèn)，理論上僅含一個隱含層的神經(jīng)網(wǎng)絡(luò)完全可以實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)的效果，但是訓(xùn)練難度要大于深度神經(jīng)網(wǎng)絡(luò)。

實(shí)際上，在深度神經(jīng)網(wǎng)絡(luò)中，一個隱含層包含的神經(jīng)元也不少了，比如 AlexNet 和 VGG-16 最后全連接層的 4096 個神經(jīng)元。在 deep 的同時，fat 也不是說不需要，只是沒有像只用一層隱含層那么極端，每個隱含層神經(jīng)元的個數(shù)也是我們需要調(diào)節(jié)的超參數(shù)之一。

References

李宏毅機(jī)器學(xué)習(xí)
Universal approximation theorem - Wikipedia