深度學(xué)習(xí)，在某種意義上是“深層人工神經(jīng)網(wǎng)絡(luò)”的重命名，從2006年開始在Geoffrey Hinton、Yann LeCun（楊立昆）、Yoshua Bengio、Andrew Ng（吳恩達(dá)）等教授以及學(xué)術(shù)界、工業(yè)界很多研究人員的推動(dòng)下重新興起，并在語(yǔ)音（2010年）和圖像（2012年）識(shí)別領(lǐng)域取得了重大技術(shù)突破。

科幻場(chǎng)景

深度學(xué)習(xí)，人工智能的一大突破

傳統(tǒng)機(jī)器學(xué)習(xí)系統(tǒng)主要是由一個(gè)輸入層和一個(gè)輸出層組成的淺層神經(jīng)網(wǎng)。在神經(jīng)網(wǎng)絡(luò)里，程序繪制出一組虛擬神經(jīng)元，然后給它們之間的連接分配隨機(jī)數(shù)值或稱“權(quán)重”，經(jīng)由反復(fù)的訓(xùn)練來(lái)實(shí)現(xiàn)誤差最小化。但是早期的神經(jīng)網(wǎng)絡(luò)只能模擬為數(shù)不多的神經(jīng)元，所以不能識(shí)別太復(fù)雜的模式。

科幻作品中的機(jī)器人

深度學(xué)習(xí)中的“深度”是一個(gè)術(shù)語(yǔ)，指的是一個(gè)神經(jīng)網(wǎng)絡(luò)中的層的數(shù)量。顧名思義，深度學(xué)習(xí)網(wǎng)絡(luò)與更常見的單一隱藏層神經(jīng)網(wǎng)絡(luò)的區(qū)別在于層數(shù)的深度，也就是數(shù)據(jù)在模式識(shí)別的多步流程中所經(jīng)過(guò)的節(jié)點(diǎn)層數(shù)。淺層神經(jīng)網(wǎng)絡(luò)有一個(gè)所謂的隱藏層，而深度神經(jīng)網(wǎng)絡(luò)則不止一個(gè)隱藏層。多個(gè)隱藏層讓深度神經(jīng)網(wǎng)絡(luò)能夠以分層的方式學(xué)習(xí)數(shù)據(jù)的特征，因?yàn)楹?jiǎn)單特征（比如兩個(gè)像素）可逐層疊加，形成更為復(fù)雜的特征（比如一條直線）。

AI

在深度學(xué)習(xí)網(wǎng)絡(luò)中，每一個(gè)節(jié)點(diǎn)層在前一層輸出的基礎(chǔ)上學(xué)習(xí)識(shí)別一組特定的特征。隨著神經(jīng)網(wǎng)絡(luò)深度的增加，神經(jīng)元節(jié)點(diǎn)所能識(shí)別的特征也就越來(lái)越復(fù)雜，因?yàn)槊恳粚訒?huì)整合并重組前一層的特征。

第一層神經(jīng)元學(xué)習(xí)初級(jí)特征，例如分辨圖像邊緣或語(yǔ)音中的最小單元，方法是找到那些比隨機(jī)分布出現(xiàn)得更多的數(shù)字化像素或聲波的組合。一旦這一層神經(jīng)元準(zhǔn)確地識(shí)別了這些特征，數(shù)據(jù)就會(huì)被輸送到下一層，并自我訓(xùn)練以識(shí)別更復(fù)雜的特征，例如語(yǔ)音的組合或者圖像中的一個(gè)角。這一過(guò)程會(huì)逐層重復(fù)，直到系統(tǒng)能夠可靠地識(shí)別出音素（根據(jù)語(yǔ)音的自然屬性劃分出來(lái)的最小語(yǔ)音單位）或物體為止。

訓(xùn)練

一旦算法框架構(gòu)建起來(lái)后，人工神經(jīng)網(wǎng)絡(luò)就需要很多的“訓(xùn)練”來(lái)達(dá)到誤差最小化。所以這也是深度學(xué)習(xí)

的名字的由來(lái)，深度（多層的神經(jīng)網(wǎng)絡(luò)）和學(xué)習(xí)（大量的數(shù)據(jù)訓(xùn)練）都是必不可少的。

機(jī)器學(xué)習(xí)有三種主要學(xué)習(xí)方式：監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。每一種學(xué)習(xí)方式都可以用在深度人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中。

科幻作品

發(fā)展至今，深度人工神經(jīng)網(wǎng)絡(luò)的算法在圖像識(shí)別、聲音識(shí)別、推薦系統(tǒng)等重要問(wèn)題上不斷刷新準(zhǔn)確率紀(jì)錄。從沉寂了幾十年到火爆的熱門技術(shù)，有三個(gè)重要原因推動(dòng)了深度學(xué)習(xí)的發(fā)展。