近日，Mate Labs 聯(lián)合創(chuàng)始人兼 CTO 在 Medium 上撰文《Everything you need to know about Neural Networks》，從神經(jīng)元到 Epoch，扼要介紹了神經(jīng)網(wǎng)絡(luò)的主要核心術(shù)語。

理解什么是人工智能，以及機器學習和深度學習如何影響它，是一種不同凡響的體驗。在 Mate Labs 我們有一群自學有成的工程師，希望本文能夠分享一些學習的經(jīng)驗和捷徑，幫助機器學習入門者理解一些核心術(shù)語的意義。

神經(jīng)元（節(jié)點）—神經(jīng)網(wǎng)絡(luò)的基本單元，它包括特定數(shù)量的輸入和一個偏置值。當一個信號（值）輸入，它乘以一個權(quán)重值。如果一個神經(jīng)元有 4 個輸入，則有 4 個可在訓練中調(diào)節(jié)的權(quán)重值。

?

?

神經(jīng)網(wǎng)絡(luò)中一個神經(jīng)元的運算

?

連接—它負責連接同層或兩層之間的神經(jīng)元，一個連接總是帶有一個權(quán)重值。訓練的目標是更新這一權(quán)重值以降低損失（誤差）。

?

偏置（Offset）—它是神經(jīng)元的額外輸入，值總是 1，并有自己的連接權(quán)重。這確保即使當所有輸入為 0 時，神經(jīng)元中也存在一個激活函數(shù)。

激活函數(shù)（遷移函數(shù)）—激活函數(shù)負責為神經(jīng)網(wǎng)絡(luò)引入非線性特征。它把值壓縮到一個更小范圍，即一個 Sigmoid 激活函數(shù)的值區(qū)間為 [0,1]。深度學習中有很多激活函數(shù)，ReLU、SeLU 、TanH 較 Sigmoid 更為常用。更多激活函數(shù)，請參見《一文概覽深度學習中的激活函數(shù)》。

?

各種激活函數(shù)

?

基本的神經(jīng)網(wǎng)絡(luò)設(shè)計

輸入層—神經(jīng)網(wǎng)絡(luò)的第一層。它接收輸入信號（值）并將其傳遞至下一層，但不對輸入信號（值）執(zhí)行任何運算。它沒有自己的權(quán)重值和偏置值。我們的網(wǎng)絡(luò)中有 4 個輸入信號 x1、x2、x3、x4。

隱藏層—隱藏層的神經(jīng)元（節(jié)點）通過不同方式轉(zhuǎn)換輸入數(shù)據(jù)。一個隱藏層是一個垂直堆棧的神經(jīng)元集。下面的圖像有 5 個隱藏層，第 1 個隱藏層有 4 個神經(jīng)元（節(jié)點），第 2 個 5 個神經(jīng)元，第 3 個 6 個神經(jīng)元，第 4 個 4 個神經(jīng)元，第 5 個 3 個神經(jīng)元。最后一個隱藏層把值傳遞給輸出層。隱藏層中所有的神經(jīng)元彼此連接，下一層的每個神經(jīng)元也是同樣情況，從而我們得到一個全連接的隱藏層。

輸出層—它是神經(jīng)網(wǎng)絡(luò)的最后一層，接收來自最后一個隱藏層的輸入。通過它我們可以得到合理范圍內(nèi)的理想數(shù)值。該神經(jīng)網(wǎng)絡(luò)的輸出層有 3 個神經(jīng)元，分別輸出 y1、y2、y3。

輸入形狀—它是我們傳遞到輸入層的輸入矩陣的形狀。我們的神經(jīng)網(wǎng)絡(luò)的輸入層有 4 個神經(jīng)元，它預(yù)計 1 個樣本中的 4 個值。該網(wǎng)絡(luò)的理想輸入形狀是 (1, 4, 1)，如果我們一次饋送它一個樣本。如果我們饋送 100 個樣本，輸入形狀將是 (100, 4, 1)。不同的庫預(yù)計有不同格式的形狀。

權(quán)重（參數(shù)）—權(quán)重表征不同單元之間連接的強度。如果從節(jié)點 1 到節(jié)點 2 的權(quán)重有較大量級，即意味著神將元 1 對神經(jīng)元 2 有較大的影響力。一個權(quán)重降低了輸入值的重要性。權(quán)重近于 0 意味著改變這一輸入將不會改變輸出。負權(quán)重意味著增加這一輸入將會降低輸出。權(quán)重決定著輸入對輸出的影響力。

?

前向傳播

前向傳播—它是把輸入值饋送至神經(jīng)網(wǎng)絡(luò)的過程，并獲得一個我們稱之為預(yù)測值的輸出。有時我們也把前向傳播稱為推斷。當我們饋送輸入值到神經(jīng)網(wǎng)絡(luò)的第一層時，它不執(zhí)行任何運算。第二層接收第一層的值，接著執(zhí)行乘法、加法和激活運算，然后傳遞至下一層。后續(xù)的層重復相同過程，最后我們從最后一層獲得輸出值。