Back-prop反向傳播只是一種簡單計算函數(shù)的偏導(dǎo)數(shù)的方法，它具有函數(shù)組合的形式（如神經(jīng)網(wǎng)絡(luò)中）。當(dāng)你使用基于梯度的方法解決最優(yōu)化問題（梯度下降只是其中之一）時，你希望在每次迭代時計算函數(shù)漸變，這個時候它便可以發(fā)揮作用。

對于神經(jīng)網(wǎng)絡(luò)，其目標(biāo)函數(shù)具有組合的形式。你如何計算梯度？有兩種常見的方法可以做到：（i）分析微分法。如果你知道函數(shù)的形式，你只需使用鏈?zhǔn)揭?guī)則（基本微積分）計算導(dǎo)數(shù)。（ii）有限差分的近似微分。該方法在計算上是昂貴的，因為評估函數(shù)的數(shù)量是O（N），其中N是參數(shù)的數(shù)量。與解析微分相比，這種方法的計算成本是昂貴的。在調(diào)試時，通常使用有限差分驗證反向傳播的執(zhí)行效果。

隨機(jī)梯度下降

想象梯度下降的直觀方式是想象一條源自山頂?shù)暮恿鞯穆窂健Ｌ荻认陆档哪繕?biāo)正是河流努力實現(xiàn)的目標(biāo)，即從山頂流到最低點。

現(xiàn)在，如果山的地形形狀使得河流在到達(dá)其最終目的地之前不必完全停在任何地方，這是我們想要的理想情況。在機(jī)器學(xué)習(xí)中，這相當(dāng)于說，我們已經(jīng)從初始點（山頂）開始找到解決方案的全局最小值（或最優(yōu)值）。然而，可能由于地形性質(zhì)，導(dǎo)致河流路徑出現(xiàn)若干的坑洼，會迫使河流困住和停滯。在機(jī)器學(xué)習(xí)方面，這種坑洼被稱為局部最優(yōu)解，這是我們不想要的情況。當(dāng)然有很多方法可以解決局部最優(yōu)解問題，這里我不打算進(jìn)一步討論。

因此，梯度下降傾向于陷入局部最小值，這取決于地形的性質(zhì)（或ML術(shù)語中的函數(shù)）。但是，當(dāng)你有一種特殊的山地形狀（形狀像一個碗，用ML術(shù)語稱為凸函數(shù)）時，算法始終能夠找到最優(yōu)值。你可以想象將這條河流可視化。在機(jī)器學(xué)習(xí)中，這些特殊的地形（也稱為凸函數(shù)）總是需要優(yōu)化的。另外，你從山頂開始（即函數(shù)的初始值）的位置不同，最終你到達(dá)山底的路徑也完全不同。同樣，根據(jù)河流的流淌速度（即梯度下降算法的學(xué)習(xí)速率或步長），你可能會以不同的方式到達(dá)目的地。你是否會陷入或避免一個坑（局部最小），都會被這兩個標(biāo)準(zhǔn)影響。

學(xué)習(xí)速率衰減

調(diào)整隨機(jī)梯度下降優(yōu)化程序的學(xué)習(xí)速率可以提高性能并縮短訓(xùn)練時間。有時這也被稱為學(xué)習(xí)率退火或自適應(yīng)學(xué)習(xí)率。在訓(xùn)練期間最簡單且最常用的學(xué)習(xí)率調(diào)整是隨時間降低學(xué)習(xí)率的技術(shù)。在訓(xùn)練初期使用較大的學(xué)習(xí)速率值，可以對學(xué)習(xí)速率進(jìn)行大幅調(diào)整；在訓(xùn)練后期，降低學(xué)習(xí)速率，使模型以一個較小的速率進(jìn)行權(quán)重的更新。這種技術(shù)在早期可以快速學(xué)習(xí)獲得一些較好的權(quán)重，并在后期對權(quán)重進(jìn)行微調(diào)。

兩種流行且易于使用的學(xué)習(xí)率衰減如下：

● 在每個環(huán)節(jié)逐漸降低學(xué)習(xí)率。
● 在特定時期使用大幅下降來降低學(xué)習(xí)速率。

Dropout

具有大量參數(shù)的深度神經(jīng)網(wǎng)絡(luò)是非常強(qiáng)大的機(jī)器學(xué)習(xí)系統(tǒng)。然而，過度擬合是這種網(wǎng)絡(luò)中的嚴(yán)重問題。大型網(wǎng)絡(luò)使用起來也很慢，因此在測試時將許多不同的大型神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)合起來很難處理過度擬合。Dropout就是一種解決此問題的技術(shù)。

關(guān)鍵思想是在訓(xùn)練期間從神經(jīng)網(wǎng)絡(luò)中隨機(jī)刪除單元及其連接，這可以防止單元間的過度適應(yīng)。在訓(xùn)練期間，從指數(shù)數(shù)量的不同“稀疏”網(wǎng)絡(luò)中抽取樣本。在測試時，通過簡單地使用具有較小權(quán)重的單解開網(wǎng)絡(luò)（untwinednetwork），很容易近似平均所有這些稀疏網(wǎng)絡(luò)以達(dá)到預(yù)測的效果。這顯著減少了過度擬合，并且比其他正則化方法表現(xiàn)的更好。Dropout已被證明可以改善神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺，語音識別，文檔分類和計算生物學(xué)等領(lǐng)域的監(jiān)督學(xué)習(xí)任務(wù)的性能，并在許多基準(zhǔn)數(shù)據(jù)集上獲得最先進(jìn)的結(jié)果。

最大池化

最大池化是基于樣本的離散化過程。目的是對輸入表示（圖像、隱藏層輸出矩陣等）進(jìn)行下采樣，通過降低其維數(shù)并允許對包含在子區(qū)域中的特征進(jìn)行合并。