在尋求人類智能人工智能的過程中，Meta將賭注押在了自監(jiān)督學(xué)習(xí)上。

Meta的首席人工智能科學(xué)家Yann LeCun并沒有忘記他的遠大目標，即使在談到此時此地的具體步驟時也是如此 —— “我們想建造像動物和人類一樣學(xué)習(xí)的智能機器，”LeCun在一次采訪中告訴IEEE Spectrum。

近幾年，Meta發(fā)表了一系列關(guān)于AI系統(tǒng)自監(jiān)督學(xué)習(xí)（self-supervised learning，SSL）的論文。而SSL與監(jiān)督學(xué)習(xí)相反，在監(jiān)督學(xué)習(xí)中，人工智能系統(tǒng)從標記的數(shù)據(jù)集學(xué)習(xí)（標簽充當(dāng)教師，在人工智能系統(tǒng)檢查其工作時提供正確答案）。LeCun經(jīng)常談到他堅信SSL是人工智能系統(tǒng)的必要先決條件，人工智能系統(tǒng)可以構(gòu)建“世界模型”，因此可以開始獲得類似人類的能力，例如理性、常識，以及將技能和知識從一個環(huán)境轉(zhuǎn)移到另一個環(huán)境的能力。目前的新論文展示了一個稱為掩碼自動編碼器（masked auto-encoder，MAE）的自監(jiān)督系統(tǒng)如何從非常零散和不完整的數(shù)據(jù)中重建圖像、視頻甚至音頻。雖然MAE并不是一個新概念，但Meta已經(jīng)將這項工作擴展到了新的領(lǐng)域。

LeCun說，通過找出如何預(yù)測靜態(tài)圖像、視頻或音頻序列中的缺失數(shù)據(jù)，MAE系統(tǒng)必須構(gòu)建一個世界模型。他說：“如果它能預(yù)測視頻中會發(fā)生什么，它就必須了解世界是三維的，一些物體是無生命的，不會自己移動，其他物體是有生命的，更難預(yù)測，直到能夠預(yù)測有生命的人的復(fù)雜行為。” 一旦人工智能系統(tǒng)有了一個精確的世界模型，它就可以使用該模型來規(guī)劃行動。

“智力的本質(zhì)是學(xué)會預(yù)測，”LeCun說。雖然他并沒有聲稱Meta的MAE系統(tǒng)接近人工通用智能，但他認為這是重要的一步。

并不是每個人都同意Meta研究人員在人類智能水平的正確道路上。，圖靈獎得主LeCun，Geoffrey Hinton，和Yoshua Bengio還因為深度神經(jīng)網(wǎng)絡(luò)的發(fā)展而備受贊譽，Yoshua Bengio有時還與LeCun就人工智能的重大思想進行友好的辯論。在給IEEE Spectrum的一封電子郵件中，Bengio闡述了他們目標中的一些差異和相似之處。

“我真的不認為我們目前的方法（自我監(jiān)督或不自我監(jiān)督）足以彌合人類水平的智力差距，”Bengio寫道。他補充說，要真正將最先進的技術(shù)推向更接近人類規(guī)模的人工智能，需要在該領(lǐng)域取得“質(zhì)的進步”。

雖然他同意LeCun的觀點，即對世界進行推理的能力是智力的關(guān)鍵要素，但Bengio的團隊并不專注于能夠預(yù)測的模型，而是那些能夠以自然語言形式呈現(xiàn)知識的模型。他指出，這樣一個模型“將允許我們結(jié)合這些知識來解決新問題、進行反事實模擬或研究可能的未來”。Bengio的團隊開發(fā)了一種新的神經(jīng)網(wǎng)絡(luò)框架，該框架具有比LeCun更為模塊化的特性，LeCun的團隊正在進行端到端學(xué)習(xí)（學(xué)習(xí)初始輸入階段和最終輸出結(jié)果之間的所有步驟的模型）。

The transformer craze

Meta的MAE工作建立在一種稱為transformers的神經(jīng)網(wǎng)絡(luò)架構(gòu)的趨勢上。Transformers最初被應(yīng)用于自然語言處理，在自然語言處理中，它使谷歌的BERT和OpenAI的GPT-3等模型的性能大幅提升。Meta AI研究員Ross Girshick表示，transformers在語言方面的成功使計算機視覺社區(qū)的人們在自己的領(lǐng)域“狂熱地工作，試圖復(fù)制這些結(jié)果”。

Meta的研究人員并不是第一個成功地將transformers應(yīng)用于視覺任務(wù)的人；Girshick說，谷歌對視覺轉(zhuǎn)換器（Vision Transformer，ViT）的研究啟發(fā)了Meta團隊。他告訴Spectrum：“通過采用ViT架構(gòu)，它消除了阻礙一些想法實驗的障礙。”

Girshick與Meta合著了關(guān)于MAE系統(tǒng)的第一篇論文，該論文涉及靜態(tài)圖像。它的訓(xùn)練類似于BERT和其他語言transformers的訓(xùn)練。這樣的語言模型顯示了巨大的文本數(shù)據(jù)庫，其中有一小部分文字缺失或“被屏蔽”。這些模型試圖預(yù)測缺失的單詞，然后揭開缺失的文本，這樣模型就可以檢查它們的工作，調(diào)整它們的參數(shù)，然后用新的文本塊重試。Girshick解釋說，為了對視覺進行類似的處理，研究小組將圖像分割成小塊，掩蓋一些小塊，并要求MAE系統(tǒng)預(yù)測圖像中缺失的部分。

該團隊的突破之一是認識到，掩蓋大部分圖像可以獲得最佳效果，這language transformers的關(guān)鍵區(qū)別在于，在language transformers中，可能有15%的文字可能被掩蓋。Girshick說：“語言是一個極其密集和高效的交流系統(tǒng)。每個符號都有很多含義。但圖像是來自自然界的信號，它們的構(gòu)造并不是為了消除冗余。這就是為什么我們在創(chuàng)建JPG圖像時可以很好地壓縮東西。”

?

Girshick解釋說，通過掩蓋圖像中75%以上的補丁，他們消除了圖像中的冗余，否則會使任務(wù)變得過于瑣碎，無法進行訓(xùn)練。他們的兩部分MAE系統(tǒng)首先使用編碼器學(xué)習(xí)訓(xùn)練數(shù)據(jù)集中像素之間的關(guān)系，然后解碼器盡最大努力從屏蔽版本重建原始圖像。完成此訓(xùn)練方案后，還可以對編碼器進行微調(diào)，以執(zhí)行分類和目標檢測等視覺任務(wù)。

“最終我們感到興奮的原因是我們在將學(xué)習(xí)轉(zhuǎn)移到下游任務(wù)中看到的結(jié)果，”Girshick說。當(dāng)使用編碼器進行物體識別等任務(wù)時，他說：“我們看到了非?？捎^的收益；它們移動了指針?！彼赋?，擴展模型可以帶來更好的性能，這對于未來的模型來說是一個很有希望的跡象，因為SSL“有可能在不需要手動注釋的情況下使用大量數(shù)據(jù)”。

全力以赴學(xué)習(xí)大量未經(jīng)處理的數(shù)據(jù)集可能是Meta改善SSL結(jié)果的策略，但這也是一種越來越有爭議的方法。人工智能倫理研究人員，如Timnit Gebru，已經(jīng)提請注意大型語言模型學(xué)習(xí)的未經(jīng)處理的數(shù)據(jù)集中固有的偏見，有時會帶來災(zāi)難性的后果。

Self-supervised learning in video and audio

在用于視頻的MAE系統(tǒng)中，屏蔽遮擋了高達95%的每個視頻幀，因為幀之間的相似性意味著視頻信號比靜態(tài)圖像具有更多冗余。Meta研究員Christoph Feichtenhofer表示，MAE方法在視頻方面的一大優(yōu)勢是，視頻通常具有很高的計算要求。但是，通過屏蔽高達95%的每一幀，MAE減少了高達95%的計算成本，他說。

這些實驗中使用的剪輯只有幾秒鐘長，但Feichtenhofer說，在更長的視頻上訓(xùn)練人工智能系統(tǒng)是“一個非常活躍的研究課題”。想象一下，他說，一個虛擬助理有你家的視頻，可以告訴你一個小時前把鑰匙放在哪里了。

更直接地說，人們可以想象，圖像和視頻系統(tǒng)對于在Facebook和Instagram上進行內(nèi)容調(diào)節(jié)所需的分類任務(wù)都很有用，F(xiàn)eichtenhofer說，“完整性”是一種可能的應(yīng)用。“我們肯定是在和產(chǎn)品團隊談判，”他說，“但這是一個非常新的項目，我們還沒有任何具體的項目。”

對于音頻MAE工作，該團隊表示很快將發(fā)布在arXiv預(yù)印本服務(wù)器上，Meta AI團隊找到了一種巧妙的方法來應(yīng)用掩蔽技術(shù)。他們將聲音文件轉(zhuǎn)換成頻譜圖，即信號中頻率頻譜的視覺表示，然后掩蓋這些圖像的部分內(nèi)容進行訓(xùn)練。重建的音頻令人印象深刻，盡管該模型目前只能處理幾秒鐘的剪輯。

從事音頻系統(tǒng)工作的Bernie Huang說，潛在的應(yīng)用包括分類任務(wù)，通過填充數(shù)據(jù)包丟失時丟失的音頻來幫助IP語音通話，或者找到更有效的壓縮音頻文件的方法。

Meta一直在進行人工智能攻勢、開源研究，例如這些MAE模型，并為人工智能社區(qū)提供了一個經(jīng)過預(yù)訓(xùn)練的大型語言模型，用于研究目的。但批評人士指出，盡管在研究方面具有如此開放性，Meta并沒有將其核心商業(yè)算法用于研究那些控制新聞提要、推薦和廣告投放的算法?！　?/p>