本文介紹了如何訓(xùn)練這些神經(jīng)網(wǎng)絡(luò)來(lái)解決問(wèn)題。

　　神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程

　　本系列第一部分將討論的CIFAR網(wǎng)絡(luò)由不同層的神經(jīng)元組成，如圖1所示。來(lái)自 32 像素× 32 像素的圖像數(shù)據(jù)被呈現(xiàn)給網(wǎng)絡(luò)并通過(guò)網(wǎng)絡(luò)層。CNN的第一步是檢測(cè)和研究要區(qū)分的對(duì)象的獨(dú)特特征和結(jié)構(gòu)。為此使用過(guò)濾器矩陣。一旦設(shè)計(jì)人員對(duì)CIFAR等神經(jīng)網(wǎng)絡(luò)進(jìn)行了建模，這些濾波器矩陣最初仍未確定，并且此階段的網(wǎng)絡(luò)仍然無(wú)法檢測(cè)模式和對(duì)象。

　　為此，首先需要確定矩陣的所有參數(shù)和元素，以最大限度地提高檢測(cè)對(duì)象的精度或最小化損失函數(shù)。這個(gè)過(guò)程被稱為神經(jīng)網(wǎng)絡(luò)訓(xùn)練。對(duì)于本系列第一部分所述的常見(jiàn)應(yīng)用程序，網(wǎng)絡(luò)在開(kāi)發(fā)和測(cè)試期間進(jìn)行一次訓(xùn)練。之后，它們就可以使用了，不再需要調(diào)整參數(shù)。如果系統(tǒng)正在對(duì)熟悉的對(duì)象進(jìn)行分類，則無(wú)需進(jìn)行額外培訓(xùn)。只有當(dāng)系統(tǒng)需要對(duì)全新的對(duì)象進(jìn)行分類時(shí)，才需要進(jìn)行訓(xùn)練。

　　訓(xùn)練網(wǎng)絡(luò)需要訓(xùn)練數(shù)據(jù)，然后使用一組類似的數(shù)據(jù)來(lái)測(cè)試網(wǎng)絡(luò)的準(zhǔn)確性。例如，在我們的 CIFAR-10 網(wǎng)絡(luò)數(shù)據(jù)集中，數(shù)據(jù)是十個(gè)對(duì)象類別中的一組圖像：飛機(jī)、汽車、鳥(niǎo)、貓、鹿、狗、青蛙、馬、船和卡車。然而，這是人工智能應(yīng)用程序整體開(kāi)發(fā)中最復(fù)雜的部分，在訓(xùn)練CNN之前，必須對(duì)這些圖像進(jìn)行命名。本文將討論的訓(xùn)練過(guò)程根據(jù)反向傳播原理工作;網(wǎng)絡(luò)連續(xù)顯示大量圖像，每次同時(shí)傳達(dá)一個(gè)目標(biāo)值。在我們的示例中，此值是關(guān)聯(lián)的對(duì)象類。每次顯示圖像時(shí)，都會(huì)優(yōu)化篩選器矩陣，以便對(duì)象類的目標(biāo)值和實(shí)際值匹配。完成此過(guò)程后，網(wǎng)絡(luò)還可以檢測(cè)圖像中在訓(xùn)練期間未看到的對(duì)象。

　　2.由前饋和反向傳播組成的訓(xùn)練循環(huán)。

　　過(guò)擬合和欠擬合

　　在神經(jīng)網(wǎng)絡(luò)建模中，經(jīng)常會(huì)出現(xiàn)關(guān)于神經(jīng)網(wǎng)絡(luò)應(yīng)該有多復(fù)雜的問(wèn)題，即它應(yīng)該有多少層，或者它的濾波器矩陣應(yīng)該有多大。這個(gè)問(wèn)題沒(méi)有簡(jiǎn)單的答案。與此相關(guān)，討論網(wǎng)絡(luò)過(guò)擬合和欠擬合非常重要。過(guò)擬合是模型過(guò)于復(fù)雜且參數(shù)過(guò)多的結(jié)果。我們可以通過(guò)比較訓(xùn)練數(shù)據(jù)損失和測(cè)試數(shù)據(jù)損失來(lái)確定預(yù)測(cè)模型對(duì)訓(xùn)練數(shù)據(jù)的擬合是太差還是太好。如果訓(xùn)練期間的損失很低，而當(dāng)網(wǎng)絡(luò)呈現(xiàn)以前從未顯示過(guò)的測(cè)試數(shù)據(jù)時(shí)，損失會(huì)過(guò)度增加，這強(qiáng)烈表明網(wǎng)絡(luò)已經(jīng)記住了訓(xùn)練數(shù)據(jù)，而不是泛化了模式識(shí)別。這主要發(fā)生在網(wǎng)絡(luò)有太多的參數(shù)存儲(chǔ)或太多卷積層時(shí)。在這種情況下，應(yīng)減小網(wǎng)絡(luò)大小。

　　損失函數(shù)和訓(xùn)練算法

　　學(xué)習(xí)分兩步完成。在第一步中，向網(wǎng)絡(luò)顯示一個(gè)圖像，然后由神經(jīng)元網(wǎng)絡(luò)處理以生成輸出向量。輸出向量的最大值表示檢測(cè)到的對(duì)象類，就像我們示例中的狗一樣，在訓(xùn)練情況下，它不一定是正確的。此步驟稱為前饋。

　　輸出端產(chǎn)生的目標(biāo)值和實(shí)際值之間的差值稱為損耗，相關(guān)函數(shù)稱為損耗函數(shù)。網(wǎng)絡(luò)的所有元素和參數(shù)都包含在損失函數(shù)中。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程的目標(biāo)是以最小化損失函數(shù)的方式定義這些參數(shù)。這種最小化是通過(guò)一個(gè)過(guò)程實(shí)現(xiàn)的，在這個(gè)過(guò)程中，輸出端產(chǎn)生的偏差（損耗=目標(biāo)值減去實(shí)際值）通過(guò)網(wǎng)絡(luò)的所有組件向后反饋，直到到達(dá)網(wǎng)絡(luò)的起始層。學(xué)習(xí)過(guò)程的這一部分也稱為反向傳播。

　　因此，在訓(xùn)練過(guò)程中會(huì)產(chǎn)生一個(gè)循環(huán)，該循環(huán)以逐步方式確定濾波器矩陣的參數(shù)。重復(fù)此前饋和反向傳播過(guò)程，直到損耗值降至先前定義的值以下。

　　優(yōu)化算法、梯度和梯度下降方法

　　為了說(shuō)明我們的訓(xùn)練過(guò)程，圖 3 顯示了一個(gè)僅由兩個(gè)參數(shù) x 和 y 組成的損失函數(shù)。z 軸對(duì)應(yīng)于損失。函數(shù)本身在這里不起作用，僅用于說(shuō)明目的。如果我們更仔細(xì)地觀察三維函數(shù)圖，我們可以看到該函數(shù)具有全局最小值和局部最小值。

　　可以使用大量的數(shù)值優(yōu)化算法來(lái)確定權(quán)重和偏差。最簡(jiǎn)單的一種是梯度下降法。梯度下降方法基于這樣一種想法，即在使用梯度的逐步過(guò)程中，從損失函數(shù)中隨機(jī)選擇的起點(diǎn)找到一條路徑，該起點(diǎn)導(dǎo)致全局最小值。梯度作為數(shù)學(xué)運(yùn)算符，描述了物理量的進(jìn)程。它在損失函數(shù)的每個(gè)點(diǎn)上都提供一個(gè)向量（也稱為梯度向量），該向量指向函數(shù)值最大變化的方向。向量的大小與變化量相對(duì)應(yīng)。在圖 3 中的函數(shù)中，梯度向量將指向右下角某處的最小值（紅色箭頭）。由于表面的平坦度，幅度會(huì)很低。在接近進(jìn)一步區(qū)域的峰值時(shí)，情況會(huì)有所不同。在這里，矢量（綠色箭頭）陡峭地向下指向，并且由于地勢(shì)很大，因此具有較大的幅度。

　　3.使用梯度下降法到達(dá)目標(biāo)的不同路徑。

　　使用梯度下降方法，從任意選擇的點(diǎn)開(kāi)始，迭代地尋找通往最陡峭下降山谷的路徑。這意味著優(yōu)化算法在起點(diǎn)處計(jì)算梯度，并在最陡峭的下降方向上邁出一小步。在這個(gè)中間點(diǎn)，重新計(jì)算坡度，并繼續(xù)進(jìn)入山谷的路徑。這樣，就創(chuàng)建了一條從起點(diǎn)到山谷中某個(gè)點(diǎn)的路徑。這里的問(wèn)題是起點(diǎn)不是預(yù)先定義的，而是必須隨機(jī)選擇的。在我們的二維地圖中，細(xì)心的讀者會(huì)將起點(diǎn)放在函數(shù)圖左側(cè)的某個(gè)地方。這將確保（例如，藍(lán)色）路徑的末尾處于全局最小值。另外兩條路徑（黃色和橙色）要么要長(zhǎng)得多，要么以局部最小值結(jié)束。由于優(yōu)化算法不僅要優(yōu)化兩個(gè)參數(shù)，還要優(yōu)化數(shù)十萬(wàn)個(gè)參數(shù)，因此很快就會(huì)發(fā)現(xiàn)，起點(diǎn)的選擇只能是偶然的正確。在實(shí)踐中，這種方法似乎沒(méi)有幫助。這是因?yàn)?，根?jù)所選的起點(diǎn)、路徑，訓(xùn)練時(shí)間可能很長(zhǎng)，或者目標(biāo)點(diǎn)可能不在全局最小值，在這種情況下，網(wǎng)絡(luò)的精度會(huì)降低。

　　因此，在過(guò)去幾年中，已經(jīng)開(kāi)發(fā)了許多優(yōu)化算法來(lái)繞過(guò)上述兩個(gè)問(wèn)題。一些替代方案包括隨機(jī)梯度下降法、動(dòng)量、AdaGrad、RMSProp 和 Adam，僅舉幾例。實(shí)踐中使用的算法由網(wǎng)絡(luò)開(kāi)發(fā)人員確定，因?yàn)槊糠N算法都有特定的優(yōu)點(diǎn)和缺點(diǎn)。

　　訓(xùn)練數(shù)據(jù)

　　如前所述，在訓(xùn)練過(guò)程中，我們向網(wǎng)絡(luò)提供標(biāo)有正確對(duì)象類別（如汽車、船舶等）的圖像。在我們的示例中，我們使用了已經(jīng)存在的 CIFAR-10 數(shù)據(jù)集。在實(shí)踐中，人工智能的應(yīng)用可能超出了貓、狗和汽車的識(shí)別范圍。例如，如果必須開(kāi)發(fā)一個(gè)新的應(yīng)用程序來(lái)檢測(cè)制造過(guò)程中螺釘?shù)馁|(zhì)量，那么網(wǎng)絡(luò)也必須使用來(lái)自好螺釘和壞螺釘?shù)挠?xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練。創(chuàng)建這樣的數(shù)據(jù)集可能非常費(fèi)力和耗時(shí)，并且通常是開(kāi)發(fā) AI 應(yīng)用程序中最昂貴的步驟。編譯數(shù)據(jù)集后，將其分為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)。如前所述，訓(xùn)練數(shù)據(jù)用于訓(xùn)練。測(cè)試數(shù)據(jù)在開(kāi)發(fā)過(guò)程結(jié)束時(shí)用于檢查經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)的功能。

　　結(jié)論

　　在本系列的第一部分“理解卷積神經(jīng)網(wǎng)絡(luò)”中，我們描述了一個(gè)神經(jīng)網(wǎng)絡(luò)，并詳細(xì)研究了它的設(shè)計(jì)和功能?，F(xiàn)在我們已經(jīng)定義了函數(shù)所需的所有權(quán)重和偏差，我們可以假設(shè)網(wǎng)絡(luò)可以正常工作。在本系列的最后一篇文章中，我們將通過(guò)將神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為硬件來(lái)測(cè)試我們的神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別貓。為此，我們將使用MAX78000人工智能微控制器和ADI公司開(kāi)發(fā)的基于硬件的CNN加速器。

　　審核編輯：黃飛