編輯：祝鑫泉

概述

梯度下降算法（Gradient Descent Optimization）是神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練最常用的優(yōu)化算法。對于深度學(xué)習(xí)模型，基本都是采用梯度下降算法來進行優(yōu)化訓(xùn)練的。梯度下降算法背后的原理：目標函數(shù)

其中

對于神經(jīng)網(wǎng)絡(luò)模型，借助于BP算法可以高效地計算梯度，從而實施梯度下降算法。但梯度下降算法一個老大難的問題是：不能保證全局收斂。如果這個問題解決了，深度學(xué)習(xí)的世界會和諧很多。梯度下降算法針對凸優(yōu)化問題原則上是可以收斂到全局最優(yōu)的，因為此時只有唯一的局部最優(yōu)點。而實際上深度學(xué)習(xí)模型是一個復(fù)雜的非線性結(jié)構(gòu)，一般屬于非凸問題，這意味著存在很多局部最優(yōu)點（鞍點），采用梯度下降算法可能會陷入局部最優(yōu)，這應(yīng)該是最頭疼的問題。這點和進化算法如遺傳算法很類似，都無法保證收斂到全局最優(yōu)。因此，我們注定在這個問題上成為“高級調(diào)參師”。可以看到，梯度下降算法中一個重要的參數(shù)是學(xué)習(xí)速率，適當?shù)膶W(xué)習(xí)速率很重要：學(xué)習(xí)速率過小時收斂速度慢，而過大時導(dǎo)致訓(xùn)練震蕩，而且可能會發(fā)散。理想的梯度下降算法要滿足兩點：收斂速度要快；能全局收斂。為了這個理想，出現(xiàn)了很多經(jīng)典梯度下降算法的變種，下面將分別介紹它們。

01

Momentum optimization

沖量梯度下降算法是BorisPolyak在1964年提出的，其基于這樣一個物理事實：將一個小球從山頂滾下，其初始速率很慢，但在加速度作用下速率很快增加，并最終由于阻力的存在達到一個穩(wěn)定速率。對于沖量梯度下降算法，其更新方程如下：

可以看到，參數(shù)更新時不僅考慮當前梯度值，而且加上了一個積累項（沖量），但多了一個超參

02 

NAG