作為一名前半生奉獻給學(xué)術(shù)，現(xiàn)在投身業(yè)界的研究者，Daniel Gutierrez習(xí)慣在數(shù)據(jù)科學(xué)業(yè)內(nèi)工作的同時，跟進學(xué)術(shù)界的最新動態(tài)。

最近，通過一場網(wǎng)絡(luò)研討會，他發(fā)現(xiàn)人工智能大神吳恩達（Andrew Ng）也有一樣的習(xí)慣。吳恩達提到，他經(jīng)常隨身攜帶一個裝滿研究論文的文件夾，利用搭車的空閑時間研究論文。

Daniel Gutierrez因此建議，不管是數(shù)據(jù)科學(xué)從業(yè)者還是研究者，都可以準(zhǔn)備一個論文文件夾來裝一些論文，就像吳恩達建議的：如果你每周閱讀幾篇論文（部分論文可以泛讀），一年后你就閱讀了100多篇論文，足夠比較深入地了解一個新領(lǐng)域。

在這篇文章中，Daniel Gutierrez列出了2018年最具影響力的20篇數(shù)據(jù)科學(xué)研究論文清單，所有數(shù)據(jù)科學(xué)家都應(yīng)該認真回顧。我還收錄了一些綜述性文章，它們可以幫助你看到當(dāng)前技術(shù)領(lǐng)域的發(fā)展情況，同時還有完整的參考文獻列表，其中不乏很多具有開創(chuàng)性的論文。

新一年隨身攜帶的論文合集，不如就從這里開始吧！

一種新型無梯度下降的反向傳播算法

我們都知道，在20世紀70年代初引入的反向傳播算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的支柱。反向傳播利用大名鼎鼎的一階迭代優(yōu)化算法進行梯度下降，用于尋找函數(shù)的最小值。本文中， Bangalore的PES大學(xué)研究人員描述了一種不使用梯度下降的反向傳播方法。他們設(shè)計了一種新算法，使用Moore-Penrose偽逆找出人工神經(jīng)元權(quán)重和偏差的誤差。本文還在各種數(shù)據(jù)集上進行了數(shù)值研究和實驗，旨在驗證替代算法的結(jié)果是否符合預(yù)期。

下載鏈接：

https://arxiv.org/pdf/1802.00027.pdf

一份基于深度學(xué)習(xí)的情感分析

情感分析經(jīng)常被用于識別和分類文本中所表達的觀點，因為它可以確定作者對特定主題、產(chǎn)品等態(tài)度是積極、消極還是中性的，所以在處理社交媒體數(shù)據(jù)時，情感分析非常有價值。

深度學(xué)習(xí)日益流行，它是一種強大的機器學(xué)習(xí)技術(shù)，可以學(xué)習(xí)到數(shù)據(jù)的多層特征并生成預(yù)測結(jié)果。隨著深度學(xué)習(xí)在許多其他應(yīng)用領(lǐng)域的成功，近年來，深度學(xué)習(xí)在情感分析中也得到了廣泛的應(yīng)用。本文對深度學(xué)習(xí)進行了全面的綜述，并對其在情感分析領(lǐng)域的應(yīng)用現(xiàn)狀也進行了分析。

下載鏈接：

https://arxiv.org/ftp/arxiv/papers/1801/1801.07883.pdf

應(yīng)用數(shù)學(xué)家所理解的深度學(xué)習(xí)是什么

作為一名數(shù)學(xué)家，我喜歡看一些關(guān)于數(shù)據(jù)科學(xué)的技術(shù)文檔，并找到它們與應(yīng)用數(shù)學(xué)的聯(lián)系。本文從應(yīng)用數(shù)學(xué)的角度出發(fā)，對深入學(xué)習(xí)的基本思想進行闡述。多層人工神經(jīng)網(wǎng)絡(luò)已在各個領(lǐng)域中被廣泛使用，這場深度學(xué)習(xí)革命的核心實際上可以追溯到應(yīng)用和計算數(shù)學(xué)的基礎(chǔ)概念：特別是在微積分、偏微分方程、線性代數(shù)和近似/優(yōu)化理論的概念中。

下載鏈接：

https://arxiv.org/pdf/1801.05894.pdf

論深度學(xué)習(xí)的起源

本文對深度學(xué)習(xí)模型進行了全面的歷史回顧，它從人工神經(jīng)網(wǎng)絡(luò)的起源介紹到在過去十年的深度學(xué)習(xí)研究中占據(jù)主導(dǎo)地位的模型：如卷積神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)。本文還重點介紹了這些模型的先例，分析了早期模型的構(gòu)建過程，以及模型的發(fā)展歷程。

下載鏈接：

https://arxiv.org/pdf/1702.07800.pdf?

循環(huán)神經(jīng)網(wǎng)絡(luò)研究進展

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）能夠從時間序列數(shù)據(jù)中學(xué)習(xí)序列特征和長期依賴性。RNN由一堆非線性單元組成，單元之間至少有一個連接形成有向循環(huán)。一個訓(xùn)練完備的RNN可以模擬任何一個動態(tài)系統(tǒng)，然而，RNN在訓(xùn)練時一直受到長期依賴性問題的困擾。本文對RNN進行了綜述，并著重介紹了該領(lǐng)域的一些最新進展。

下載鏈接：

https://arxiv.org/ftp/arxiv/papers/1801/1801.00631.pdf

關(guān)于深度學(xué)習(xí)的十大質(zhì)疑

盡管深度學(xué)習(xí)的歷史根源可以追溯到幾十年前，但“深度學(xué)習(xí)”這一術(shù)語和技術(shù)在五年前才開始流行起來，當(dāng)時該領(lǐng)域被Krizhevsky、Sutskever和Hinton等人所統(tǒng)治，他們在2012年發(fā)表了經(jīng)典之作“基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類”。但在接下來的五年中，深度學(xué)習(xí)領(lǐng)域中又有什么發(fā)現(xiàn)呢？在語音識別、圖像識別和游戲等領(lǐng)域取得長足進步的背景下，紐約大學(xué)的AI反對者Gary Marcus對深度學(xué)習(xí)提出了十個問題，并表明如果我們想要獲得通用的人工智能，深度學(xué)習(xí)必須輔以其他技術(shù)。

下載鏈接：

https://arxiv.org/ftp/arxiv/papers/1801/1801.00631.pdf

深度學(xué)習(xí)中的矩陣微積分

本文較為全面的介紹了深度神經(jīng)網(wǎng)絡(luò)中（以及參考文獻表中大多數(shù)論文）所需的所有線性代數(shù)知識。除了基礎(chǔ)微積分知識之外，本文深奧的數(shù)學(xué)知識很少。請注意，若你還是深度學(xué)習(xí)新手，這篇論文對你來說意義不大；相反，若你已經(jīng)熟悉神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識并希望加深對基礎(chǔ)數(shù)學(xué)的理解，這篇論文將非常適合你研究。

相關(guān)報道：

https://arxiv.org/abs/1802.01528

群組歸一化

批量歸一化（BN）是深度學(xué)習(xí)開發(fā)中的里程碑技術(shù)，它使得各種網(wǎng)絡(luò)的訓(xùn)練成為了可能。但是，沿批量維度進行歸一化會帶來一些問題：當(dāng)批量大小變小時，由于批次統(tǒng)計估計不準(zhǔn)確，BN的誤差會迅速增加。這限制了BN在訓(xùn)練大型模型以及計算機視覺任務(wù)（包括檢測、分割視頻）中的使用，因為這些任務(wù)需要的是受內(nèi)存消耗限制的小批量。本文由Facebook AI研究人員（FAIR）提出，將Group Normalization（GN）作為BN的簡單替代方案。GN將通道分成群組，并在每組內(nèi)計算標(biāo)準(zhǔn)化的均值和方差。GN的計算與批量大小無關(guān)，并且其準(zhǔn)確性在各種批量大小中都是穩(wěn)定的。

下載鏈接：

https://arxiv.org/pdf/1803.08494.pdf

平均參數(shù)比重能帶來更廣泛的優(yōu)化和更好的概括能力

深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練一般通過使用隨機梯度陡降（SGD）變量和遞減學(xué)習(xí)率來優(yōu)化一個損失函數(shù)，直至其收斂。這篇論文指出，對SGD曲線上的多個點取簡單平均數(shù)，并使用周期波動或恒定的學(xué)習(xí)率比傳統(tǒng)訓(xùn)練方式有更好的概括能力。這篇論文還展示了，這個隨機平均參數(shù)比重（SWA）過程比SGD有更廣泛的優(yōu)化能力，僅用一個模型就達到了之前快速集合法的效果。

下載鏈接：

https://arxiv.org/pdf/1803.05407.pdf

對基于神經(jīng)網(wǎng)絡(luò)進行文本總結(jié)方法的調(diào)查

自動總結(jié)歸納文本，或者說在保留主要含義的同時壓縮文本長度，是自然語言處理(NLP)領(lǐng)域的一個重要研究范疇。這篇論文對近來基于神經(jīng)網(wǎng)絡(luò)的模型在自動文本總結(jié)方面進行了研究。作者詳細審查了十款最前沿的神經(jīng)網(wǎng)絡(luò)摘要器：五款摘要模型，以及五款提煉模型。

下載鏈接：

https://arxiv.org/pdf/1804.04589.pdf

神經(jīng)網(wǎng)絡(luò)風(fēng)格傳輸?shù)幕仡?/p>

Gatys等人在2015年“針對藝術(shù)風(fēng)格的神經(jīng)網(wǎng)絡(luò)算法”這篇開創(chuàng)性著作中，展示了卷積神經(jīng)網(wǎng)絡(luò)(CNN) 能夠分離和重組圖片的內(nèi)容和風(fēng)格，在生成藝術(shù)圖像上表現(xiàn)出了強大的能力。這個使用CNN來渲染不同風(fēng)格的內(nèi)容圖像被稱作神經(jīng)網(wǎng)絡(luò)風(fēng)格傳輸(NST)。此后，NST在學(xué)術(shù)著作和工業(yè)應(yīng)用上都很是熱門，受到越來越多的關(guān)注，也產(chǎn)生了很多種致力改善或者擴展原有NST算法的方法。這篇論文對NST目前的發(fā)展?fàn)顩r提供了概覽，也對未來研究提出了一系列問題。

下載鏈接：

https://arxiv.org/pdf/1705.04058.pdf

幾何數(shù)據(jù)：在機器學(xué)習(xí)領(lǐng)域針對黎曼幾何的一個Python包

在機器學(xué)習(xí)領(lǐng)域應(yīng)用黎曼幾何越來越受人們關(guān)注。這篇論文引入了幾何數(shù)據(jù)這一概念，也給出了應(yīng)用于諸如超球面、雙曲空間、空間對稱正定矩陣和李群變換等多重內(nèi)容計算的python包。此外，論文中還包含了對于這些多重內(nèi)容的應(yīng)用，以及實用的黎曼度量和相關(guān)的外生性、對數(shù)圖。相應(yīng)的測地線距離提供了一系列機器學(xué)習(xí)損失函數(shù)的直觀選擇。作者還給出了對應(yīng)的黎曼梯度。幾何數(shù)據(jù)的操作可用于不同的計算后臺，比如numpy, tensorflow和keras。文章作者使keras深度學(xué)習(xí)框架綜合應(yīng)用GPU和幾何數(shù)據(jù)多重內(nèi)容計算變成了可能。

下載鏈接：

https://arxiv.org/pdf/1805.08308.pdf

一個更通用的穩(wěn)健損失函數(shù)

這篇論文展示了一個雙參數(shù)損失函數(shù)，可視為對穩(wěn)健統(tǒng)計學(xué)中很多常用的損失函數(shù)的一個概括，這些常用的損失函數(shù)包括Cauchy/Lorentzian, Geman-McClure, Welsch/Leclerc和廣義卡爾波涅爾損失函數(shù)（按傳遞性分為L2，L1，L1-L2和pseudo-Huber/Charbonnier損失函數(shù)）。作者描述并可視化展示了這個損失和相應(yīng)的分布，并列出了它的一些實用性特質(zhì)。

下載鏈接：

https://arxiv.org/pdf/1806.01337.pdf

反向退出：隨機反向傳播算法

這篇論文引入了“反向退出”的概念，也即一個靈活而應(yīng)用簡便的方法，可以直觀地表述為，退出現(xiàn)象僅沿著反向傳播管道發(fā)生。反向退出的應(yīng)用是沿著網(wǎng)絡(luò)中特定點插入一個或多個屏蔽層。每個反向退出的屏蔽層在正推法中被視為特征，但幾乎不屏蔽部分反向梯度傳播。直觀來看，在任何卷積層之后插入反向退出層會帶來隨機梯度，隨刻度特征不同而有不同。因此，反向退出非常適用于那些有多重刻度、金字塔結(jié)構(gòu)的數(shù)據(jù)。

下載鏈接：

https://arxiv.org/pdf/1806.01337.pdf

關(guān)系型強化深度學(xué)習(xí)

這篇論文引入了一個通過結(jié)構(gòu)化感知和關(guān)系型推理從而提升強化深度學(xué)習(xí)(RL)的方法，主要表現(xiàn)在改善效率、泛化能力和提升傳統(tǒng)方法的解讀能力。通過自我感知來迭代推理場景中的主題和引導(dǎo)無模型原則之間的關(guān)系。結(jié)果顯示，在一個擁有新型導(dǎo)航和任務(wù)計劃的“盒世界”中，代理找到了可解釋的解決方案，從而可以在基線之上改善樣本的復(fù)雜度、泛化能力（在訓(xùn)練中能應(yīng)對更的復(fù)雜場景）以及整體表現(xiàn)。

下載鏈接：

https://arxiv.org/pdf/1806.01830.pdf

一個非常有趣的案例：卷積神經(jīng)網(wǎng)絡(luò)和執(zhí)行坐標(biāo)轉(zhuǎn)化方法的失敗

深度學(xué)習(xí)里幾乎沒有別的概念像“卷積”那樣大的影響力了。對包含像素或空間表征的任何問題，普遍的直覺就是試試看CNNs。這篇論文通過一個看似微不足道的坐標(biāo)轉(zhuǎn)化問題展示了一個反直覺的案例，也即單純要求機器在坐標(biāo)(x,y)笛卡爾空間和一個熱像素的空間之間學(xué)習(xí)一個映射。雖然CNNs似乎很適用于這個場景，來自Uber的作者們證明了卷積神經(jīng)網(wǎng)絡(luò)法最終失敗了。這篇論文展示并仔細檢驗了這個失敗案例。

下載鏈接：

https://arxiv.org/pdf/1807.03247.pdf

反向傳播法的演變

反向傳播算法是深度學(xué)習(xí)的基石。盡管其非常重要，但很少有方法嘗試調(diào)整其算法。這篇論文展示了一種發(fā)現(xiàn)新的反向傳播方程變式的方法。來自Google的作者使用了一種領(lǐng)域?qū)Ｓ谜Z言，將升級的方程描述為一系列原始方程。基于進化的方法被用來發(fā)現(xiàn)新的反向傳播原則，該原則在一系列最大訓(xùn)練次數(shù)后能夠最大化泛化能力。這個研究發(fā)現(xiàn)了一些升級方程，相較標(biāo)準(zhǔn)的反向傳播算法在較少次數(shù)內(nèi)訓(xùn)練得更快，并在收斂時有與標(biāo)準(zhǔn)反向傳播算法近似的表現(xiàn)。

下載鏈接：

https://arxiv.org/pdf/1808.02822.pdf

在深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)時代里，物體探測領(lǐng)域近來的發(fā)展

物體探測就是對于特定類別圖片，比如車、飛機等進行探測的計算機視圖任務(wù)，它在過去五年里在人工智能領(lǐng)域里吸引了非常多的關(guān)注。這些關(guān)注，既源于該領(lǐng)域在實際應(yīng)用的重要性，也是因為自從CNNs時代的到來，它是人工智能領(lǐng)域里現(xiàn)象級的發(fā)展。這篇論文是對近來使用深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法的物體探測領(lǐng)域著作的一個全面回顧，也對近來這些發(fā)展進行了深刻的透析。

下載鏈接

https://arxiv.org/pdf/1809.03193.pdf

語言交互式AI的神經(jīng)網(wǎng)絡(luò)法

這篇論文對近年來發(fā)展出的語言交互式AI中神經(jīng)網(wǎng)絡(luò)方法進行了調(diào)查。語言交互式AI可被分為三個類別：1. 回答問題的機器人2. 以任務(wù)為導(dǎo)向的對話機器人3. 自動化語音聊天機器人。針對每個類別，文章使用特定系統(tǒng)和模型為案例，展示了領(lǐng)域最前沿的神經(jīng)網(wǎng)絡(luò)方法，并將其與傳統(tǒng)方法比較，討論其進步之處和仍面臨的問題。

下載鏈接：

https://arxiv.org/pdf/1809.08267.pdf

可撤銷的循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）在運行序列數(shù)據(jù)上表現(xiàn)最優(yōu)秀，但訓(xùn)練起來更占用內(nèi)存，也就限制了RNNs模型的靈活性?？沙蜂N的循環(huán)神經(jīng)網(wǎng)絡(luò)，也就是“隱藏對隱藏”的轉(zhuǎn)化能被撤銷的RNNs，提供了減少訓(xùn)練所需內(nèi)存的一個路徑，因其隱藏狀態(tài)無需存儲，從而能夠在反向傳播算法中被重新計算。這篇論文展示了完美可撤銷RNNs從根本上就是受限的，因為它們依然需要記住隱藏狀態(tài)。隨后，為了實現(xiàn)能夠忘記隱藏狀態(tài)的完美可撤RNNs，文章提供了存儲少量bits的方法。作者這個方法達到了傳統(tǒng)模型的近似效果，同時減少了活動內(nèi)存成本約10-15個百分點。

下載鏈接：

https://arxiv.org/pdf/1810.10999.pdf