神經(jīng)網(wǎng)絡(luò)是什么？

神經(jīng)網(wǎng)絡(luò)是人工智能領(lǐng)域目前最熱門的一種機(jī)器學(xué)習(xí)方法，是目前最為火熱的研究方向之一——深度學(xué)習(xí)的基礎(chǔ)。

神經(jīng)網(wǎng)絡(luò)這個(gè)概念聽起來(lái)無(wú)比深?yuàn)W，很多非技術(shù)人士大都不明白它到底是個(gè)啥。讓我們繼續(xù)往下看試試是否可以“窺一斑而知全豹”。

給你一系列圖，猜一下圖中動(dòng)物是什么？或者是由哪種動(dòng)物組合成的？

也許答案你不到一秒就可以脫口而出，憑借人類大腦強(qiáng)大的辨識(shí)能力，盡管圖中的動(dòng)物經(jīng)過(guò)變形處理或者視覺誤差，我們還是能快速猜出這是什么動(dòng)物。這就歸功于我們大腦的1000多億個(gè)神經(jīng)元組成的復(fù)雜網(wǎng)絡(luò)，即使動(dòng)物們并非我們熟知的模樣，我們依然可以輕松識(shí)別出。

神經(jīng)網(wǎng)絡(luò)技術(shù)正是受到人類神經(jīng)元的啟發(fā)，通過(guò)模擬人腦神經(jīng)網(wǎng)絡(luò)以實(shí)現(xiàn)類人工智能的功能。

人腦中的神經(jīng)元大家初中時(shí)就很熟悉了：

而人工智能神經(jīng)網(wǎng)絡(luò)正是模擬人類大腦：

要進(jìn)一步理解神經(jīng)網(wǎng)絡(luò)，我們必須要厘清以下概念：

人工智能：人工智能是一個(gè)非常大的概念，其最初定義是要讓機(jī)器的行為看起來(lái)就像是人所表現(xiàn)出的智能行為一樣。我們經(jīng)常聽到的語(yǔ)音識(shí)別、圖像識(shí)別、自然語(yǔ)言理解等領(lǐng)域都是具體的人工智能方向，而機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等概念都屬于實(shí)現(xiàn)人工智能所需要的一些技術(shù)。

機(jī)器學(xué)習(xí)：機(jī)器學(xué)習(xí)是人工智能的一門分支，指通過(guò)學(xué)習(xí)過(guò)往經(jīng)驗(yàn)來(lái)提升機(jī)器的智能性的一類方法。根據(jù)樣本和訓(xùn)練的方式，又可以分為監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等類型。

神經(jīng)網(wǎng)絡(luò)：在人工智能領(lǐng)域一般指人工神經(jīng)網(wǎng)絡(luò)，是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理人工智能模型。我們通常使用的神經(jīng)網(wǎng)絡(luò)都需要通過(guò)訓(xùn)練數(shù)據(jù)進(jìn)行參數(shù)的學(xué)習(xí)，所以神經(jīng)網(wǎng)絡(luò)也可以被歸為一種機(jī)器學(xué)習(xí)方法。

深度學(xué)習(xí)：作為人工智能領(lǐng)域的新興方向，深度學(xué)習(xí)目前還沒有嚴(yán)格的定義，一般我們把一些具備較多中間隱含層的神經(jīng)網(wǎng)絡(luò)稱為深度學(xué)習(xí)模型。

至暗時(shí)刻

2019年，ACM決定將2018年ACM圖靈獎(jiǎng)授予YoshuaBengio、Geoffrey Hinton和YannLeCun三位深度學(xué)習(xí)之父，以表彰他們給人工智能帶來(lái)的重大突破，這些突破使深度神經(jīng)網(wǎng)絡(luò)成為計(jì)算的關(guān)鍵組成部分。ACM主席 Cherri M. Pancake 表示，“人工智能如今是整個(gè)科學(xué)界發(fā)展最快的領(lǐng)域之一，也是社會(huì)上討論最廣的主題之一。

AI的發(fā)展、人們對(duì)AI的興趣，很大程度上是因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)的近期進(jìn)展，而Bengio、Hinton和LeCun為此奠定了重要基礎(chǔ)”。

神經(jīng)網(wǎng)絡(luò)的發(fā)展過(guò)程遇到了哪些波折？“深度學(xué)習(xí)三巨頭”有哪些有趣的故事？而這些年熱門的深度學(xué)習(xí)又和神經(jīng)網(wǎng)絡(luò)有什么樣的關(guān)系？

今天院長(zhǎng)為大家一一道來(lái)。

大家知道，我們現(xiàn)在所說(shuō)的人工神經(jīng)網(wǎng)絡(luò)確實(shí)是受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)而設(shè)計(jì)出來(lái)的。在1890年，實(shí)驗(yàn)心理學(xué)先驅(qū)William James在他的巨著《心理學(xué)原理》中第一次詳細(xì)論述人腦結(jié)構(gòu)及功能。其中提到神經(jīng)細(xì)胞受到刺激激活后可以把刺激傳播到另一個(gè)神經(jīng)細(xì)胞，并且神經(jīng)細(xì)胞激活是細(xì)胞所有輸入疊加的結(jié)果。這一后來(lái)得到驗(yàn)證的假說(shuō)也成為了人工神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的生物學(xué)基礎(chǔ)。

基于這一假說(shuō)，一系列模擬人腦神經(jīng)計(jì)算的模型被相繼提出，具有代表性的有Hebbian Learning Rule， Oja‘s Rule和 MCP NeuralModel等，他們與現(xiàn)在通用的神經(jīng)網(wǎng)絡(luò)模型已經(jīng)非常相似，例如在Hebbian Learning模型中，已經(jīng)可以支持神經(jīng)元之間權(quán)重的自動(dòng)學(xué)習(xí)。當(dāng)然，現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)只是對(duì)人腦結(jié)構(gòu)的最初級(jí)模擬，成人的大腦中估計(jì)有1000億個(gè)神經(jīng)元之多，其復(fù)雜性遠(yuǎn)超目前的所有人工神經(jīng)網(wǎng)絡(luò)模型。

1958年，就職于Cornell航空實(shí)驗(yàn)室的 Frank Rosenblatt 將這些最初的神經(jīng)網(wǎng)絡(luò)模型假說(shuō)付諸于實(shí)施，利用電子設(shè)備構(gòu)建了真正意義上的第一個(gè)神經(jīng)網(wǎng)絡(luò)模型：感知機(jī)（Perceptron）。Rosenblatt現(xiàn)場(chǎng)演示了其學(xué)習(xí)識(shí)別簡(jiǎn)單圖像的過(guò)程，在當(dāng)時(shí)的社會(huì)引起了轟動(dòng)，并帶來(lái)了神經(jīng)網(wǎng)絡(luò)的第一次大繁榮。許多學(xué)者和科研機(jī)構(gòu)紛紛投入到神經(jīng)網(wǎng)絡(luò)的研究中，連美國(guó)軍方大力資助了神經(jīng)網(wǎng)絡(luò)的研究，并認(rèn)為神經(jīng)網(wǎng)絡(luò)比“原子彈工程”更重要。

△Frank Rosenblatt

然而好景不長(zhǎng)，上回曾經(jīng)提到的達(dá)特茅斯會(huì)議的組織者明斯基，同時(shí)也是 Rosenblatt 的同事兼中學(xué)同學(xué)，在一次會(huì)議上和羅森布拉特大吵，認(rèn)為神經(jīng)網(wǎng)絡(luò)不能解決人工智能的問題。

隨后，明斯基和麻省理工學(xué)院的另一位教授佩珀特（Seymour Papert）合作，寫出了《感知機(jī)：計(jì)算幾何學(xué)》（Perceptrons:An Introduction to Computational Geometry）一書。該書幾乎對(duì)處于萌芽中神經(jīng)網(wǎng)絡(luò)判處了死刑，書中明斯基和佩珀特證明單層神經(jīng)網(wǎng)絡(luò)不能解決XOR（異或）問題，說(shuō)明神經(jīng)網(wǎng)絡(luò)的計(jì)算能力實(shí)在有限。但“感知機(jī)”的缺陷被明斯基以一種敵意的方式呈現(xiàn)出來(lái)，當(dāng)時(shí)對(duì)Rosenblatt是個(gè)致命打擊，不久后他因?yàn)橐淮纬链鹿孰x開了人世。原來(lái)的政府資助機(jī)構(gòu)也逐漸停止對(duì)神經(jīng)網(wǎng)絡(luò)研究的支持，神經(jīng)網(wǎng)絡(luò)為代表聯(lián)結(jié)主義也隨之進(jìn)入了第一個(gè)至暗時(shí)刻。

整個(gè)70年代，神經(jīng)網(wǎng)絡(luò)的研究都處在寒冬之中。1974年，哈佛大學(xué)的博士生波斯（Paul Werbos）一篇博士論文證明了在神經(jīng)網(wǎng)絡(luò)多加一層，并且利用“反向傳播”（back-propagation）學(xué)習(xí)方法，可以解決XOR問題。之前明斯基所剛提出的神經(jīng)網(wǎng)絡(luò)致命傷就被這增加的一層神經(jīng)網(wǎng)絡(luò)所輕松化解，這也為之后深度學(xué)習(xí)方法的提出埋下了伏筆。但這篇論文發(fā)表時(shí)正處在神經(jīng)網(wǎng)絡(luò)研究的低谷，并沒有引起足夠的關(guān)注。

直到八十年代中期，以John Hopfield， David Rumelhar及Hinton為代表的一批科學(xué)家進(jìn)一步將反向傳播傳播方法引入神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，并提出了Hopfiled Networks和Boltzmann Machine等新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，主導(dǎo)了神經(jīng)網(wǎng)絡(luò)的又一次復(fù)興。我們?nèi)缃穸炷茉數(shù)倪f歸神經(jīng)網(wǎng)絡(luò)（RNN）、長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）都在這一時(shí)期被相繼提出。然而，當(dāng)科學(xué)家們?cè)趯?shí)際訓(xùn)練這些模型時(shí)，卻又遇到各種各樣的問題，一方面當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)很容易過(guò)擬合，另一方面又缺乏足夠的數(shù)據(jù)和計(jì)算能力。

深度學(xué)習(xí)三巨頭

到90年代，以支持向量機(jī)（SVM）為代表的統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法逐漸取代神經(jīng)網(wǎng)絡(luò)成為了人工智能的主流。相比于神經(jīng)網(wǎng)絡(luò)方法，支持向量機(jī)有著更扎實(shí)的統(tǒng)計(jì)理論基礎(chǔ)，有著更好問題優(yōu)化與求解方法。神經(jīng)網(wǎng)絡(luò)再一次陷入低谷，大量之前從事相關(guān)研究者開始轉(zhuǎn)向其他方向。不過(guò)還是有很多科學(xué)家一直在默默堅(jiān)守，堅(jiān)信神經(jīng)網(wǎng)絡(luò)技術(shù)終有一天能夠再次爆發(fā)，其中最為代表性的就是前面提到的深度學(xué)習(xí)三位創(chuàng)始人——Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun。

△深度學(xué)習(xí)三巨頭

進(jìn)入新世紀(jì)以來(lái)，互聯(lián)網(wǎng)的飛速發(fā)展對(duì)AI提出了更多需求，一方面可供訓(xùn)練的數(shù)據(jù)量大大增加，另一方面問題場(chǎng)景越來(lái)越復(fù)雜，需要有通用和模塊化的方法來(lái)快速適應(yīng)不同的問題，而神經(jīng)網(wǎng)絡(luò)在這方面相比于當(dāng)時(shí)流行的統(tǒng)計(jì)學(xué)習(xí)方法都更有優(yōu)勢(shì)。

2006年，Hinton在Nature發(fā)表了“Reducing the Dimensionality of Data with Neural Networks”一文，提出訓(xùn)練更多層的神經(jīng)網(wǎng)絡(luò)來(lái)提升神經(jīng)網(wǎng)絡(luò)的泛化能力，并給出了具體的解決方案，吹響了神經(jīng)網(wǎng)絡(luò)第二次復(fù)興的號(hào)角，并引領(lǐng)了深度學(xué)習(xí)這一AI的新方向。后續(xù)深度學(xué)習(xí)的發(fā)展并沒有完全按照Hinton這邊論文的思路，更多的是依靠算力的增加、數(shù)據(jù)的增加以及在模型訓(xùn)練里增加的各種技巧。

2010年Hinton和Deng Li把DNN用于聲學(xué)模型建模，用于替代傳統(tǒng)的隱馬爾科夫模型，語(yǔ)音識(shí)別的詞錯(cuò)誤率相對(duì)降低了30%，震驚了整個(gè)AI界。2012年由Hinton和他的學(xué)生提出的AlexNet在圖像領(lǐng)域著名的ImageNet比賽中，將圖像分類錯(cuò)誤率由25.8%下降至10%，再次讓所有人驚嘆于深度學(xué)習(xí)的威力。在之后的幾年中，深度學(xué)習(xí)又被應(yīng)用到自然語(yǔ)言處理、語(yǔ)音圖像合成、自動(dòng)駕駛、搜索推薦等幾乎人工智能的所有領(lǐng)域，并刷新了幾乎所有AI競(jìng)賽的最好成績(jī)。在深度學(xué)習(xí)帶動(dòng)下，AI在這幾年中再一次贏來(lái)爆發(fā)。

那么深度學(xué)習(xí)方法和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)又有什么樣的關(guān)系呢？

院長(zhǎng)在這里在做個(gè)技術(shù)總結(jié)。最早期的神經(jīng)網(wǎng)絡(luò)“感知機(jī)”只有單層網(wǎng)絡(luò)結(jié)構(gòu)，被證明無(wú)法解決“異或問題”，存在先天的硬傷。后來(lái)證明增加神經(jīng)網(wǎng)絡(luò)層數(shù)并引入反向傳播算法之后解決這一問題，這樣神經(jīng)網(wǎng)絡(luò)的這一短板就被補(bǔ)齊了。然而，神經(jīng)網(wǎng)絡(luò)問題從數(shù)學(xué)上不能保證取得全局最優(yōu)解（又一硬傷），當(dāng)訓(xùn)練數(shù)據(jù)量小的時(shí)候容易過(guò)擬合，且存在其他一些模型訓(xùn)練的問題，導(dǎo)致再次沉淪。之后Hinton提出采用更多層的神經(jīng)網(wǎng)絡(luò)加預(yù)訓(xùn)練方法可以解決上述問題，這也就是深度學(xué)習(xí)的起源。再后來(lái)大家發(fā)現(xiàn)隨著數(shù)據(jù)量和計(jì)算能力的提升，即使不采取預(yù)訓(xùn)練方法，單純?cè)黾由窠?jīng)網(wǎng)絡(luò)層數(shù)，也可以達(dá)到同樣效果。隨后更多的深度神經(jīng)網(wǎng)絡(luò)模型和訓(xùn)練方法被陸續(xù)提出，深度學(xué)習(xí)開始走向快車道。

最后在總結(jié)一下深度學(xué)習(xí)三位創(chuàng)始人對(duì)領(lǐng)域的貢獻(xiàn)。Hinton的身世顯赫，是著名邏輯學(xué)家布爾（布爾代數(shù)創(chuàng)始人）的后裔，從出身就帶著與計(jì)算機(jī)的不解緣分。他像是深度學(xué)習(xí)領(lǐng)域的哲學(xué)家，不斷地思考與反思，為大家指引前行的方向。在最近的一次人工智能會(huì)議上，Hinton表示自己對(duì)于反向傳播“非常懷疑”，并提出“應(yīng)該拋棄它并重新開始”。Bengio為深度學(xué)習(xí)的發(fā)展和推廣做出了很多基礎(chǔ)的貢獻(xiàn)，除了大量重要論文外，他還主導(dǎo)研發(fā)了Theano深度學(xué)習(xí)框架，一度成為非常主流的深度學(xué)習(xí)工具，并帶動(dòng)了后續(xù)tensorflow與pytorch等平臺(tái)的出現(xiàn)。Lecun是Hinton的博士后學(xué)生，也是神經(jīng)網(wǎng)絡(luò)的堅(jiān)定信仰者，早在80年代他就在貝爾實(shí)驗(yàn)室提出了如今大名鼎鼎的卷積神經(jīng)網(wǎng)絡(luò)，當(dāng)時(shí)還叫LeNet，并被廣泛應(yīng)用于支票的數(shù)字識(shí)別。2013年Lecun加盟Facebook組建FAIR并任職第一任主任，致力于深度學(xué)習(xí)學(xué)術(shù)界與工業(yè)界的結(jié)合。

深度學(xué)習(xí)在企業(yè)場(chǎng)景的應(yīng)用

近年來(lái)，以Resnet和Bert為代表的深度學(xué)習(xí)算法在計(jì)算機(jī)視覺和自然語(yǔ)言處理領(lǐng)域繼續(xù)披荊斬棘，不斷創(chuàng)造各項(xiàng)記錄。除了模型的創(chuàng)新，這些模型更得益于更大規(guī)模的訓(xùn)練樣本及更強(qiáng)的算力的支持，很多人也在質(zhì)疑深度學(xué)習(xí)這樣的發(fā)展模式還能持續(xù)多久。相比于神經(jīng)網(wǎng)絡(luò)，人類在面對(duì)新問題時(shí)擁有者更好的學(xué)習(xí)效率和效果，這樣說(shuō)明當(dāng)前神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)機(jī)制和真正人腦的神經(jīng)學(xué)習(xí)機(jī)制還存在著很大的差異。如何更好探索好的網(wǎng)絡(luò)先驗(yàn)結(jié)構(gòu)與參數(shù)，以及引入先驗(yàn)知識(shí)或者通過(guò)遷移學(xué)習(xí)、多任務(wù)學(xué)習(xí)的方式進(jìn)行小樣本的學(xué)習(xí)已經(jīng)成為了近期新的研究熱點(diǎn)。特別是在企業(yè)服務(wù)場(chǎng)景，相對(duì)to C場(chǎng)景樣本量更少，業(yè)務(wù)性更強(qiáng)，如何將深度學(xué)習(xí)方法與這些場(chǎng)景相結(jié)合也成為一個(gè)重要課題。

深度學(xué)習(xí)方法在e成科技的對(duì)話機(jī)器人、人崗匹配、音視頻面試等場(chǎng)景起到了非常重要的作用，院長(zhǎng)在前幾期反復(fù)提到的Bert就是其中的重要代表。但作為一家to B企業(yè)，e成科技的很多算法都有自身的特殊場(chǎng)景，同時(shí)也面臨著數(shù)據(jù)相對(duì)不足的問題。為了能使深度學(xué)習(xí)方法最大限度地發(fā)揮威力，e成科技的算法工程師們也進(jìn)行了非常多的嘗試與探索。e成科技AI開放平臺(tái)可以根據(jù)企業(yè)業(yè)務(wù)需求，調(diào)用OpenAPI接口或私有云部署，提供NLP能力、實(shí)體識(shí)別、歸一化知識(shí)圖譜、人崗匹配、簡(jiǎn)歷解析、HR機(jī)器人等成熟AI技術(shù)基礎(chǔ)能力，AI產(chǎn)品組件，定制化解決方案等多種智能服務(wù)。