AI改變世界不再是將來時而是正在進行時。在新的十年開啟之際，各行業(yè)AI頂尖人物重新審視了2019年在該領域取得的進步，并展望了機器學習在2020年的發(fā)展前景。本文介紹了PyTorch的創(chuàng)建者Soumith Chintala、加利福尼亞大學教授Celeste Kidd、谷歌AI負責人Jeff Dean、英偉達機器學習研究總監(jiān)Anima Anandkumar和IBM研究總監(jiān)Dario Gil對過去一年AI發(fā)展的回顧及新的一年對其發(fā)展的期許。

PyTorch的董事、首席工程師和創(chuàng)建者Soumith Chintala

PyTorch是當今世界上最受歡迎的機器學習框架。PyTorch是2002年引入的Torch開源框架的衍生產(chǎn)品，于2015年開始使用，并在擴展和庫方面不斷穩(wěn)步增長。

今年秋天，F(xiàn)acebook發(fā)布了帶有量化和TPU支持的PyTorch 1.3，以及深度學習可解釋性工具Captum和PyTorch Mobile。還有諸如PyRobot和PyTorch Hub之類的東西，用于共享代碼并鼓勵機器學習（ML）實踐者實現(xiàn)可重復性。

Chintala曾表示，2019年他幾乎沒有看到機器學習取得什么突破性進展。

“實際上，我認為自Transformer模型以來，就沒有做出什么具有開創(chuàng)性的事情。ConvNets在2012年進入黃金時段，而Transformer則在2017年左右。這是我個人的看法，”他說。

他繼續(xù)稱DeepMind的AlphaGo在強化學習方面的貢獻是具有開創(chuàng)性的。但是他說，對于現(xiàn)實世界中的實際任務而言，很難實現(xiàn)這一結果。

Chintala還認為，機器學習框架（如PyTorch和谷歌的TensorFlow）的發(fā)展已改變了研究人員探索思想和開展工作的方式，這些機器在當今的ML實踐者中廣受歡迎。

今年，谷歌和Facebook的開源框架引入了量化，以提高模型訓練的速度。在未來的幾年中，Chintala希望PyTorch的JIT編譯器和Glow等神經(jīng)網(wǎng)絡硬件加速器的重要性和采用率呈“爆炸式增長”模式。

“有了PyTorch和TensorFlow，你就已經(jīng)看到了框架的融合。量化和其他較多低級別效率的出現(xiàn)是因為下一場戰(zhàn)爭將從框架的編譯器XLA、TVM和PyTorch的Glow處開始，即將出現(xiàn)大量的創(chuàng)新，”他說?！霸诮酉聛淼膸啄曛?，你將看到如何更智能地量化、如何更好地融合、如何更有效地使用GPU以及如何自動為新硬件進行編譯?！?/p>

與大多其他領域的AI專家一樣，Chintala預測2020年，AI社區(qū)將會把更多的價值放在AI模型性能上，而不僅僅是準確性，并開始將注意力轉移到其他重要因素上，比如創(chuàng)建模型所需的力量以及AI如何更好地反映人們想要建立的社會類型。

“回顧過去的五六年，你會發(fā)現(xiàn)我們只關注準確性和原始數(shù)據(jù)，例如英偉達的模型更準確嗎？Facebook的模型更準確嗎？我認為2020年將是我們開始（以更復雜的方式）進行思考的一年，”Chintala表示。

加州大學伯克利分校的發(fā)展心理學家Celeste Kidd

Celeste Kidd是加州大學伯克利分?；聦嶒炇业闹魅?，她和她的團隊在這里探索孩子們的學習方式。他們的見解可以幫助神經(jīng)網(wǎng)絡的創(chuàng)建者，這些創(chuàng)建者正在嘗試以與撫養(yǎng)孩子相似的方式來訓練模型。

她說：“嬰兒沒有得到標記的數(shù)據(jù)集，但是它們管理得很好，對我們而言重要的是要了解這種情況是如何發(fā)生的?！?/p>

讓Kidd在2019年感到驚訝的一件事是，越來越多的神經(jīng)網(wǎng)絡創(chuàng)建者開始低估自己或其他研究人員的工作，因為他們無法做嬰兒可以做的事情。

她說，當你對嬰兒的行為進行平均計算時，你會看到有證據(jù)表明他們實際上了解某些事情，但他們絕對不是完美的學習者，而這種談話對嬰兒的行為描述得過于樂觀。

她說：“嬰兒很棒，但他們會犯很多錯誤，并且人們在與嬰兒做對比時比較隨便，這都是為了使嬰兒行為在人口層面上理想化。我認為你目前所知道的與下一步想要了解的信息之間的聯(lián)系將會越來越密切。”

在人工智能領域，“黑匣子”這個詞已經(jīng)存在多年。它曾經(jīng)被用來批評神經(jīng)網(wǎng)絡缺乏可解釋性，但Kidd認為，2020年可能意味著結束人們對神經(jīng)網(wǎng)絡無解釋性這一認知。

她說：“黑匣子的論點是假的……大腦也是黑匣子，但我們在理解大腦如何工作方面卻取得了很大進步?！?/p>

在揭開對神經(jīng)網(wǎng)絡認識的神秘面紗時，Kidd著眼于MIT-IBM Watson AI Lab執(zhí)行總監(jiān)Aude Oliva等人的工作。

“我們當時正在談論這個問題，我說過該系統(tǒng)是一個黑匣子，她責備我說他們當然不是黑匣子。當然，你可以將它們分解并拆開，看看它們?nèi)绾喂ぷ鞑ζ溥M行實驗，就像我們?yōu)槔斫庹J知所做的一樣，”Kidd說。

上個月，Kidd在神經(jīng)信息處理系統(tǒng)（NeurIPS）會議上發(fā)表了開幕式主題演講，這是世界上最大的年度AI研究會議。她的演講重點關注人腦如何固守頑固的信念、注意力系統(tǒng)和貝葉斯統(tǒng)計。

她說，Goldilocks提供信息的區(qū)域介于一個人以前的興趣和理解之間，而這對他們來說是令人驚訝的，因為人們通常傾向于較少參與過度令人驚訝的內(nèi)容。

她還提到?jīng)]有中立的技術平臺，并且她會將注意力轉向內(nèi)容推薦系統(tǒng)的創(chuàng)建者如何操縱人們的信念。追求最大參與度的系統(tǒng)可能會對人們形成信念和觀點的方式產(chǎn)生重大影響。

Kidd在演講的最后談到了機器學習中對男性的誤解，即與女性同事獨處會導致性騷擾指控并威脅到男性的職業(yè)發(fā)展。她說，這種誤解實際上是會損害女性在該領域的職業(yè)發(fā)展。

因在羅切斯特大學發(fā)表過涉及性行為不端的言論，Kidd與其他女性一起被評為2017年“年度人物”。這些女性幫助實現(xiàn)了我們現(xiàn)在所說的#MeToo運動，以平等對待女性。當時，Kidd認為此次大聲疾呼將結束她的職業(yè)生涯。

在2020年，她希望看到人們對技術工具和技術決策對現(xiàn)實生活影響的認識有所提高，不贊同工具制造商不應對人們?nèi)绾问褂眠@些工具負責這一說法。

“我聽到很多制造商說自己不是真理的審判者，并以此來逃避責任，但是我覺得必須正視這一說法的不誠實性。作為社會的一員，尤其是作為從事與這些工具相關工作的人員，我們的確需要意識到隨之而來的責任，”Kidd說。

谷歌AI總監(jiān)Jeff Dean

Dean領導谷歌AI已有近兩年時間，但他實際上已經(jīng)在谷歌工作了二十年，是該公司許多早期搜索和分布式網(wǎng)絡算法的架構師，也是Google Brain的早期成員。

Dean上個月在NeurIPS上就ASIC半導體設計的機器學習以及AI社區(qū)應對氣候變化的方式進行了演講，他說這是我們這個時代最重要的問題。在關于氣候變化的討論中，Dean討論了AI可以努力成為零碳行業(yè)以及AI可以用來幫助改變?nèi)祟愋袨榈南敕ā?/p>

他預計到2020年，多模式學習領域將取得進展，這是一種依靠多種媒體進行訓練的AI，而多任務學習則涉及旨在一次可完成多個任務的網(wǎng)絡。

毫無疑問，2019年最大的機器學習趨勢之一是基于Transformer的自然語言模型的持續(xù)增長和擴散，該模型曾被稱為近年來人工智能最大的突破之一。谷歌于2018年開源了基于Transformer的模型BERT。根據(jù)GLUE排行榜，今年發(fā)布的許多性能最高的模型（比如谷歌的XLNet、微軟的MT-DNN和Facebook的RoBERTa）都基于Transformer。相關人士表示，XLNet 2將于本月晚些時候發(fā)布。

Dean指出了已經(jīng)取得的進展，他說：“我認為整個研究線程在實際產(chǎn)生機器學習模型方面成果顯著，不過盡管現(xiàn)在讓我們做的機器學習模型比過去復雜得多，但仍然有很大的進步空間。我們?nèi)匀幌Ｍ軌驁?zhí)行更多與語境相關的模型。像現(xiàn)在這樣，BERT和其他模型可以很好地處理數(shù)百個單詞，但不能處理含1萬個單詞左右的文章。因此，這是一個有趣的研究方向。”Dean希望少強調一些最新技術，而傾向于創(chuàng)建更強大的模型。

谷歌AI還將努力推進新的舉措，例如Everyday Robot，這是一個于2019年11月推出的內(nèi)部項目，旨在制造能夠在家庭和工作場所完成日常任務的機器人。

英偉達機器學習研究總監(jiān)Anima Anandkumar

Anandkumar在擔任AWS首席科學家后加入了GPU制造商英偉達。在英偉達，人工智能研究在多個領域進行，從醫(yī)療保健的聯(lián)合學習到自動駕駛，再到超級計算機和圖形學。

2019年，英偉達和Anandkumar在機器學習方面的研究重點主要是強化學習的仿真框架，這些框架也越來越受歡迎和成熟。

在2019年，我們看到了英偉達的Drive自動駕駛平臺和Isaac機器人模擬器的興起，以及從模擬和生成對抗網(wǎng)絡（GAN）生成綜合數(shù)據(jù)模型的興起。

去年該公司還迎來了AI的興起，例如StyleGAN和GauGAN。上個月，StyleGAN2也已經(jīng)面世。

GAN是可以模糊現(xiàn)實界限的技術，Anandkumar認為，它們可以幫助AI社區(qū)嘗試解決一些主要挑戰(zhàn)，例如如何抓住機器人的手和自動駕駛。

Anandkumar還希望迭代算法、自我監(jiān)督和自主訓練模型的方法在未來一年能取得進展，這些模型可以通過對未標記數(shù)據(jù)進行自訓練來改進。

“我認為各種不同的迭代算法都是未來，因為如果你只做一個前饋網(wǎng)絡，那么魯棒性就會成為問題，”她說?！叭绻銍L試進行多次迭代，并且根據(jù)所需的數(shù)據(jù)類型或精度要求來調整迭代次數(shù)，那么實現(xiàn)這一目標的機會就更大了。”

Anandkumar看到了2020年AI社區(qū)面臨的眾多挑戰(zhàn)，例如需要與領域專家一道創(chuàng)建專門針對特定行業(yè)的模型。決策者、個人和AI社區(qū)也將需要應對具有代表性的問題，以及確保用于訓練模型的數(shù)據(jù)集能夠涵蓋不同的人群。

她說：“我認為面部識別問題很容易掌握，但在很多其他領域，人們還沒有意識到使用數(shù)據(jù)據(jù)信息存在隱私問題?！?/p>

Anandkumar說，面部識別獲得了最大的關注，因為很容易理解面部識別如何侵犯個人隱私，但是2020年AI社區(qū)還面臨許多其他道德問題?！拔覀儗⒃谌绾问占瘮?shù)據(jù)以及如何使用數(shù)據(jù)方面經(jīng)歷越來越嚴格的審查?！?/p>

在Anandkumar看來，2019年的一大驚喜是文本生成模型的發(fā)展速度?！?019年是語言模型之年。現(xiàn)在，我們第一次達到了在段落的長度上更連貫使用文本生成，這在之前是不可能實現(xiàn)的，”Anandkumar說。

在2019年8月，英偉達推出了Megatron自然語言模型。Megatron擁有80億個參數(shù)，被譽為全球最大的基于Transformer的AI模型。Anandkumar說，她對人們開始將模型表征為具有個性的方式感到驚訝，她期待看到更多針對特定行業(yè)的文本模型。

“我們還沒有進入對話互動的階段，對話可以保持跟蹤并進行自然對話。因此，我認為在2020年需要朝這個方向前進，”她說。

開發(fā)用于控制文本生成的框架要比開發(fā)可以訓練以識別人或物體的圖像框架更具挑戰(zhàn)性。文本生成模型還可能面臨例如為神經(jīng)模型定義事實的挑戰(zhàn)。

最后，Anandkumar說，她很高興看到Kidd在NeurIPS上的演講，并被機器學習社區(qū)中越來越成熟和包容的跡象所鼓舞。

她說：“我覺得現(xiàn)在是分水嶺。一開始要想做點小改動都很困難，并且一不注意水壩就可能破裂了。但是現(xiàn)在，我希望能保持這種勢頭，并進行更大的結構改革，促進行業(yè)的蓬勃發(fā)展。”

IBM Reaserch總監(jiān)Dario Gil

Gil領導的一組研究人員積極為白宮和世界各地的企業(yè)提供咨詢服務。他認為，2019年的重大飛躍包括圍繞生成模型的進步以及可產(chǎn)生合理語言不斷提高的質量。

他預測，在降低精度的體系結構上，更有效的訓練將繼續(xù)取得進展。更高效AI模型的開發(fā)是NeurIPS的重點，IBM Research在此引入了具有8位精度模型的深度學習技術。

他說：“在我們使用具有GPU架構的現(xiàn)有硬件訓練深度神經(jīng)網(wǎng)絡的方式上，效率仍然遠遠不夠。因此，我們必須提高AI的計算效率，需要做更多的事情來實現(xiàn)這一目標。”

Gil引用相關研究表明，對機器學習訓練的需求每三個半月翻一番，這比摩爾定律所預測的增長要快得多。

Gil也對AI如何幫助加速科學發(fā)現(xiàn)感到興奮，但是IBM Research將主要專注于機器學習的神經(jīng)符號方法。

Gil希望AI從業(yè)者和研究人員將專注于準確性以外的指標，以考慮生產(chǎn)中部署模型的價值。將領域轉移到構建受信任的系統(tǒng)，而不是將準確性放在首位，這將是繼續(xù)采用AI的中心支柱。

“社區(qū)中的某些成員可能會說，‘不用擔心，只是提供準確性。沒關系，人們會習慣這個東西有點黑匣子’，或者他們會提出這樣的論點，即人類有時不會對我們做出的某些決定產(chǎn)生解釋。我認為，非常重要的一點是，我們應該集中社區(qū)的智慧力量，在此方面做得更好。人工智能系統(tǒng)不能成為關鍵任務應用的黑匣子，”他說。

Gill相信要擺脫這樣的觀念，即只有少數(shù)機器學習向導才能做到AI，以確保更多的具有數(shù)據(jù)科學和軟件工程技能的人采用AI。

他說：“如果我們把它作為一個神話領域，只有從事此工作的博士才能進入，可這并沒有真正為它的采用做出貢獻。”

operate a program， and models that can share the reasoning behind their decisions.

2020年，Gil對神經(jīng)符號AI特別感興趣。IBM將尋求神經(jīng)符號方法來增強諸如概率性編程之類的功能，其中AI將學習如何操作程序以及可共享其決策背后原因的模型。

“通過與一種新的當代方法混合，這些神經(jīng)符號方法將學習和推理結合在一起，其中符號維度被嵌入到學習程序中，就可以利用少量數(shù)據(jù)進行學習，”他說?！坝捎趯W習了程序，最終得到了一些可解釋的東西，并且由于你擁有了可解釋的東西，因此你有了更受信任的東西?！?/p>

他還提到，公平性、數(shù)據(jù)完整性和數(shù)據(jù)集選擇等問題將繼續(xù)引起人們的廣泛關注。與生物識別技術有關的任何事情都將如此。面部識別得到了很多關注，但這僅僅是開始。語音數(shù)據(jù)以及其他形式的生物識別技術將越來越具有敏感性。他繼續(xù)引用了哥倫比亞大學教授Rafael Yuste的話，他從事神經(jīng)技術研究，并正在探索提取神經(jīng)元模式的方法。

Gil說：“我以這個例子為例是想表達，在未來與人的身份、生物特征相關的領域會備受關注，人工智能在分析這些方面取得的進步將繼續(xù)處于前沿和中心位置?！?/p>

除了神經(jīng)符號和常識推理外，MIT-IBM Watson Lab的一項旗艦計劃以及IBM Research在新的一年還將探索AI的量子計算以及降低精度架構之外的AI模擬硬件。

總結

機器學習正在不斷塑造著商業(yè)和社會。隨著Transformers推動該領域巨大的發(fā)展，自然語言模型的進步是2019年的主要成就。而在2020年，研究人員和專家將尋找更多基于BERT和Transformer模型的變體，并看到了一系列新的發(fā)展趨勢：

除了關注準確性外，AI行業(yè)應該尋找評估模型輸出的新方法。

諸如半監(jiān)督學習、機器學習的神經(jīng)符號方法以及多任務和多模式學習方法等子領域可能會在未來一年中取得進展。

與生物統(tǒng)計數(shù)據(jù)（如語音記錄）相關的倫理挑戰(zhàn)可能會繼續(xù)引起爭議。

諸如量化之類的編譯器和方法可能會在諸如PyTorch和TensorFlow之類的機器學習框架中作為優(yōu)化模型性能的方式而流行起來。