人工智慧、機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)已變成現(xiàn)今最熱門的話題之一,但以字面上的意思不足以清楚的表達(dá)其意義,使得人們常?;煜?。以下這篇文章將帶領(lǐng)各位理解其定義,并且簡單的探討機(jī)器學(xué)習(xí)與深度學(xué)習(xí)基本概念與運(yùn)算過程。
一、人工智慧(Artificial Intelligence) :
所謂的人工智慧(Artificial Intelligence) 是人類建立于機(jī)器上的類似大腦智慧的一種判斷機(jī)制。其目的以編寫程式的方式,模擬出人類大腦中的決策,并模仿、理解、學(xué)習(xí)等等特性,而形成類似人類的「智慧」。其中利用大量的硬體設(shè)備作為資訊來源作為訊息的接收,舉例以鏡頭串流影像作為人眼、以麥克風(fēng)收集聲音作為耳朵等等。
人工智慧隸屬于大範(fàn)疇,包含了機(jī)器學(xué)習(xí)(Machine Learning) 與深度學(xué)習(xí)(Deep Learning)。如下圖所示,我們最興趣的深度學(xué)習(xí)則是規(guī)範(fàn)于機(jī)器學(xué)習(xí)之中的一項(xiàng)分支,而以下段落將簡單介紹機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的差異。

二、機(jī)器學(xué)習(xí)(Machine Learning):
機(jī)器學(xué)習(xí)是一種透過演算法設(shè)計(jì),讓機(jī)器去尋求最佳化的一種學(xué)科。能幫助人們探討一些復(fù)雜的問題,比如需要從一大堆數(shù)據(jù)資料判斷貓與狗時(shí),從前人們必須利用過往的實(shí)驗(yàn)經(jīng)驗(yàn)反覆地找出判斷規(guī)則或是最佳的判斷機(jī)制。而透過機(jī)器學(xué)習(xí)方式則提供許多有效率的演算法,幫助人們分析資料,比如說資料群聚分布,資料的回歸模型等等,將資料送至機(jī)器上進(jìn)行演算找出最好的解答或是模型。以下將介紹機(jī)器學(xué)習(xí)的類別:

機(jī)器學(xué)習(xí)主要可分類成
1. 監(jiān)督式學(xué)習(xí) :
須將每筆資料標(biāo)記上一個(gè)「標(biāo)籤」,比如是與非回答、狗與貓、蘋果與橘子,利用大量已知標(biāo)籤資訊與資料訓(xùn)練的方式建立出一個(gè)分類器(Classifier)或稱模型(Model)。除了資料分類,監(jiān)督式學(xué)習(xí)亦包含回 歸分析(Regression)算法。最具代表的算法有 Adaboost 、SVM 、Neural Network 等等。

非監(jiān)督式學(xué)習(xí) :
「無須標(biāo)記標(biāo)籤」于每筆資料,常以資料的分布狀況去建立一個(gè)分類器。除了聚類分類(clustering),非監(jiān)督式學(xué)習(xí)亦包含降低維度(dimensionality reduce)以及關(guān)聯(lián)規(guī)則( association rule)等演算法。 最具代表的算法有 Kmean 、PCA 等等。

強(qiáng)化式學(xué)習(xí) :
則是「不需給機(jī)器任何資料」,讓機(jī)器不斷從互動(dòng)中學(xué)習(xí),并利用獎(jiǎng)懲與成效評(píng)估的機(jī)制,不斷嘗試與修正至最佳化的模型。最具代表的算法有 Q-Learning 、SARSA 等等。

近年來深度學(xué)習(xí)的基礎(chǔ)皆來至于類神經(jīng)網(wǎng)路的演算法,以下先簡單介紹此算法。
類神經(jīng)網(wǎng)路(Neural Network):
近年回歸于熱門的就是類神經(jīng)網(wǎng)路(Neural Network),起源1943年于 沃倫·麥卡洛克 和 沃爾特·皮茨 為一種閾值邏輯的演算法。因?yàn)槔脭?shù)個(gè)節(jié)點(diǎn)進(jìn)行判斷,很像人類的神經(jīng)元故以神經(jīng)網(wǎng)路而命名。然而此算法運(yùn)算量頗大,當(dāng)時(shí)又缺乏硬體設(shè)備,造成神經(jīng)網(wǎng)路的發(fā)展受到侷限,且當(dāng)時(shí)支撐向量機(jī)(SVM)正受到學(xué)界關(guān)注,故類神經(jīng)網(wǎng)路不受青睞。
時(shí)間線回到現(xiàn)今,因有充足的硬體設(shè)備使得神經(jīng)網(wǎng)路重新受到矚目,竟而發(fā)展出 RNN 遞迴神經(jīng)網(wǎng)路、 LSTM 長短時(shí)記憶網(wǎng)路、 RBF 神經(jīng)網(wǎng)路等等算法,我們所認(rèn)知的卷積神經(jīng)網(wǎng)路(CNN)也是從中發(fā)展而來,其中類神經(jīng)網(wǎng)路最具代表性的設(shè)計(jì)為反向傳遞的機(jī)制 ,經(jīng)由不斷迭代,對比預(yù)測值與實(shí)際值之間的誤差,以修正模組中的權(quán)重,竟而達(dá)到最佳化之目的,以下將簡單介紹類神經(jīng)網(wǎng)路(NN)的算法。
探討架構(gòu)之前須理解感知器(Perceptron),而所謂的感知器可想像為人類大腦中的每一個(gè)神經(jīng)元,我們透過這些神經(jīng)網(wǎng)的傳遞與訊號(hào),給我們做出正確的判斷。如下圖所示,我們可將資料作為 x1 至 xd 并代入權(quán)重相加計(jì)算,得到一個(gè)評(píng)分?jǐn)?shù)值 y,藉由這個(gè)數(shù)值去判斷是與否、狗與貓等等二元分類的答案。

回到類神經(jīng)網(wǎng)路可以說是一種多層的感知器模型,可以想像成數(shù)個(gè)神經(jīng)元(感知器)所構(gòu)成的復(fù)雜網(wǎng)路。最基礎(chǔ)神經(jīng)網(wǎng)路架構(gòu)可分作輸入層、隱藏層、輸出層,如下圖所示:

而透過大量的資料訓(xùn)練以及反向傳播的機(jī)制,不斷誤差修正各個(gè)感知器的權(quán)重,因此可以清楚地反映資料分布,竟可能找出最佳化真實(shí)模型。訓(xùn)練資料的方式常以是數(shù)張圖片,以同樣規(guī)格尺寸與特徵進(jìn)行訓(xùn)練與分類。雖然神經(jīng)網(wǎng)路可以很好的反應(yīng)出最佳化模型,但直接代入圖片至類神經(jīng)網(wǎng)路進(jìn)行訓(xùn)練并不能獲得一個(gè)很好的模型,其狀況是因?yàn)闃?gòu)成良好的模組之前須帶入有效的特徵數(shù)據(jù)或是良好的特徵擷取,才能獲得較佳的模型。
叁、深度學(xué)習(xí)(Deep Learning)
對于有效的特徵數(shù)據(jù)一直都是機(jī)器學(xué)習(xí)中一個(gè)較深論的課題,近年來深度學(xué)習(xí)出現(xiàn)簡化這項(xiàng)問題, 直接打破上述這些思維。所謂的深度學(xué)習(xí)與機(jī)器學(xué)習(xí)最大的差異,就是輸入端的特徵提?。?! 而深度學(xué)習(xí)將會(huì)透過卷積的方式,取代了特徵提取這個(gè)環(huán)節(jié),如下圖說明機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的主要差異。

卷積神經(jīng)網(wǎng)路(Convolutional Neural Network, CNN ),為具代表性的深度學(xué)習(xí)算法之一,是由類神經(jīng)網(wǎng)路演化而來。 如下圖所示,此算法透過卷積(Convolution)的方式,對圖片進(jìn)行特徵提?。╢eature extraction),其中卷積的遮罩係數(shù)則是隨機(jī)產(chǎn)生的。透過卷積濾波器產(chǎn)生的特徵,送至分類器(Classification)進(jìn)行分類即為卷積神經(jīng)網(wǎng)路。

(此圖出處于參考文獻(xiàn))
卷積神經(jīng)網(wǎng)路(CNN)主要可分為
卷積層(convolution layer):利用隨機(jī)產(chǎn)生的遮罩進(jìn)行特徵提取。
池化層(pooling layer):對不同位置的特徵進(jìn)行統(tǒng)計(jì),并取平均值或最大值作為最佳參考點(diǎn),以減少資料特徵維度。
全連接層(fully connected layer):是將之前的卷積與池化后之結(jié)果進(jìn)行平坦化,并接到最基本的神經(jīng)網(wǎng)絡(luò)。
透過上述所介紹的主要的叁個(gè)層,即可完成一個(gè)CNN架構(gòu),如下圖所示為最典型的CNN架構(gòu)。

透過深度學(xué)習(xí)的方式,簡單的將提取到有效的特徵。盡而逼近最佳模型。因此近年來有許多學(xué)術(shù)專家對 CNN 架構(gòu)進(jìn)行研究并舉辦比賽,目前較熱門的 CNN 模型有 LeNet、VGG、ResNet 等等,并經(jīng)由研究得知只要架構(gòu)的深度夠深,對于模型的準(zhǔn)確度越高,故而稱為深度學(xué)習(xí)。
-
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8553瀏覽量
136928 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5598瀏覽量
124393 -
神經(jīng)網(wǎng)路
+關(guān)注
關(guān)注
0文章
8瀏覽量
2749
發(fā)布評(píng)論請先 登錄
深度學(xué)習(xí)與數(shù)據(jù)挖掘的關(guān)系
人工智能基本概念機(jī)器學(xué)習(xí)算法
什么是機(jī)器學(xué)習(xí)_十張圖帶你解析機(jī)器學(xué)習(xí)的基本概念
深度學(xué)習(xí)算法背后的數(shù)學(xué)
機(jī)器學(xué)習(xí)進(jìn)入游戲的過程的探討
機(jī)器學(xué)習(xí)算法基本概念及選用指南
探討機(jī)器學(xué)習(xí)與深度學(xué)習(xí)基本概念與運(yùn)算過程
評(píng)論