具有語言能力的深度學(xué)習(xí)系統(tǒng)已經(jīng)廣泛應(yīng)用于人們的生活當(dāng)中。其中一些系統(tǒng)使用了 Google 發(fā)布的特定深度學(xué)習(xí)模型 —— 多語言 BERT（Multilingual BERT，簡稱 mBERT）。mBERT 模型可以同時(shí)接受大約 100 種語言的訓(xùn)練，這種多語言的訓(xùn)練使模型可以完成各種語言任務(wù)，例如，將文本內(nèi)容從一種語言翻譯成另一種語言。

雖然已經(jīng)發(fā)現(xiàn) mBERT 模型在許多語言任務(wù)中表現(xiàn)良好，但是

人們對 mBERT 模型 “如何創(chuàng)建文本并如何做出預(yù)測” 的相關(guān)信息并不清楚。

為此，來自斯坦福大學(xué)、加州大學(xué)歐文分校和加州大學(xué)圣巴巴拉分校的研究人員聯(lián)合開展了一項(xiàng)新的研究，研究目的是為了更好地理解基于 mBERT 模型的技術(shù)是如何運(yùn)行的，以及它是如何創(chuàng)建語法特征的。

相關(guān)研究結(jié)果以 “Deep Subjecthood： Higher-Order Grammatical Features in Multilingual BERT” 為題，已發(fā)表在論文預(yù)印本網(wǎng)站 arXiv 上。該論文為這些常用模型的基礎(chǔ)以及它們在完成各種任務(wù)時(shí)如何分析語言提供了寶貴的線索。

神秘莫測的 mBERT 模型

在過去的幾十年中，研究人員開發(fā)了基于深度神經(jīng)網(wǎng)絡(luò)的模型，它們可以完成各種各樣的任務(wù)。其中一些技術(shù)專門設(shè)計(jì)用于處理和生成多種語言的連貫文本、翻譯文本，并可以回答有關(guān)文本的問題，以及創(chuàng)建新聞文章或其他在線內(nèi)容的摘要。

比較典型的代表是 Siri、Alexa、Bixby、Google Assistant 和 Cortana 等應(yīng)用程序，這些程序?yàn)閷?shí)時(shí)翻譯、分析文本提供了極大的便利。

而這些應(yīng)用程序大部分采用了 Google 發(fā)布的 mBERT 模型，用戶可以使用多種語言（比如英語、西班牙語、法語、巴斯克語和印尼語等）與基于 mBERT 的系統(tǒng)進(jìn)行交互。

雖然像 mBERT 這樣的模型非常強(qiáng)大，但是與經(jīng)過預(yù)先訓(xùn)練的深度學(xué)習(xí)模型不同，它們實(shí)際上包含的信息并不明顯，甚至對它們的創(chuàng)造者來說也是如此。

這是由于這些模型是經(jīng)過訓(xùn)練的，而不是經(jīng)過編程得到的。因此，探究 mBERT 模型的工作原理，成為了許多使用者關(guān)心的問題 。理解 mBERT 模型如何對語言進(jìn)行編碼與嘗試?yán)斫馊祟惾绾翁幚碚Z言并沒有太大不同。

此次研究的主要目的是，確定 mBERT 矢量模型是否包含關(guān)于人類語言及其結(jié)構(gòu)的一些更深層次的信息。更具體地說，他們想確定這些模型，是否能夠自動地揭示幾十年來語言學(xué)研究已經(jīng)確定的概括，這些概括信息對語言分析來講是十分有用的。

致力于理解 mBERT 模型

本質(zhì)上，mBERT 模型將文本表示為一系列矢量，每個(gè)矢量包含數(shù)千個(gè)數(shù)字。每個(gè)矢量都對應(yīng)一個(gè)單詞，而單詞之間的關(guān)系則被編碼為高維空間的幾何關(guān)系。

加州大學(xué)圣巴巴拉分校的語言學(xué)家、指導(dǎo)這項(xiàng)研究的高級研究員之一 Kyle Mahowald 表示：“由于這些模型在處理人類語言方面做得很好，因此我們知道這些數(shù)字向量一定代表了語言知識。但是它們是如何編碼這些信息的，這與人類大腦中知識的表達(dá)方式有什么相似之處？我們的工作是努力理解語言的深層神經(jīng)模型表示和使用語言信息的方式的一部分。”

加州大學(xué)歐文分校的語言科學(xué)家、該項(xiàng)目的另一位高級顧問 Richard Futrell 說：“這是研究計(jì)算語言學(xué)特別令人興奮的時(shí)刻。多年來，語言學(xué)家一直在談?wù)撝T如‘語義空間（semantic space）’之類的概念，認(rèn)為單詞和短語的意義是某個(gè)空間中的點(diǎn)，但這都顯得有點(diǎn)模糊和印象主義。如今，這些理論已經(jīng)變得非常精確：我們實(shí)際上有一個(gè)模型，其中一個(gè)單詞的含義是空間中的某一個(gè)點(diǎn)，并且這個(gè)模型確實(shí)以一種暗示其理解某些人類語言的方式表現(xiàn)?！?/p>

為了處理人類語言，在深入分析人類語言之后，mBERT 模型和其他基于深度學(xué)習(xí)的語言分析框架，實(shí)際上可能已經(jīng)重新發(fā)現(xiàn)了語言學(xué)研究者在深入分析人類語言之后所設(shè)計(jì)的理論?；蛘撸鼈兛赡芑谌碌恼Z言理論或規(guī)則進(jìn)行預(yù)測。

對此，Mahowald 和他的同事們希望進(jìn)一步探索這兩種可能性，因?yàn)槔斫膺@些計(jì)算技術(shù)如何對語言進(jìn)行編碼可能對計(jì)算機(jī)科學(xué)和語言學(xué)的研究具有重要的意義。

Futrell 說：“了解這些模型的工作原理，即它們學(xué)到了什么信息以及如何使用這些信息，不僅在科學(xué)上很有趣，而且也對于我們想要開發(fā)可以使用和信任的 AI 系統(tǒng)至關(guān)重要。如果我們不知道語言模型知道什么，那么我們就不能相信它會做正確的事。也就是說，我們不相信它的翻譯是正確的或者它的總結(jié)是準(zhǔn)確的，我們也不能相信它沒有學(xué)到種族或性別偏見等不良信息。”

由于 mBERT 模型通常是在人類編譯的數(shù)據(jù)集中進(jìn)行訓(xùn)練的，因此它們可能會發(fā)現(xiàn)一些人類在處理與語言相關(guān)的問題時(shí)常犯的一些錯(cuò)誤。這項(xiàng)由多學(xué)科團(tuán)隊(duì)進(jìn)行的研究可能有助于發(fā)現(xiàn) AI 工具在分析語言時(shí)所犯的一些錯(cuò)誤和其他錯(cuò)誤。

識別不同語言的主語和賓語

為了更加深入地理解 mBERT 模型，研究人員著手研究 mBERT 模型如何代表不同語言中主語和賓語之間的差異。

Mahowald 說：“當(dāng)在 mBERT 中輸入一個(gè)句子時(shí)，每個(gè)單詞都會得到一個(gè)矢量表示。我們建立了一個(gè)新模型，這個(gè)模型比 mBERT 要小得多，然后我們問：如果我們從 mBERT 得到一個(gè)單詞矢量，這個(gè)模型能告訴我們它是一個(gè)主語還是賓語嗎？也就是說，該模型能否告訴我們，‘狗’這個(gè)字用法是不是句子的主語，就像‘狗追貓’中那樣，或句子的賓語，如‘貓追狗’?！?/p>

人們可能會假設(shè)所有語言都描述了主語和賓語的關(guān)系，并且它們以相似的方式表示。但是，在不同的語言中，主語和賓語的構(gòu)成實(shí)際上存在巨大的差異。

該論文的作者之一、斯坦福大學(xué)計(jì)算機(jī)科學(xué)專業(yè)的研究生 Isabel Papadimitriou 和她的同事們試圖利用這些差異來更好地理解 mBERT 模型是如何處理句子。

Papadimitriou 說：“如果人們使用英語，那么‘狗追貓’中的‘狗’字似乎與‘狗跑了’中的‘狗’字扮演相同的成分。在第一種情況下，動詞有賓語‘貓’，在第二種情況下，它沒有賓語。但在兩種情況下，‘狗’是主語、主體、行為者，而在第一句中，‘貓’是賓語，是正在做的事情。但是，并非所有語言都如此?！?/p>

圖 | 研究過程說明

英語和歐洲人所說的大多數(shù)語言，都有一種被稱為主格對齊的結(jié)構(gòu)，這種結(jié)構(gòu)清楚地描述了句子中的主語和賓語。

但是，包括巴斯克語，北印度語和格魯吉亞語在內(nèi)的語言，使用的是一種代名詞對齊。在代名詞對齊中，在沒有賓語的句子中，主語在某種意義上被視為賓語，因?yàn)樗裱糜谫e語的語法結(jié)構(gòu)。例如，句子 “狗在奔跑” 中的 “狗” 字某種程度上即是主語也是賓語。

Papadimitriou 說：“我們工作的主要目標(biāo)是測試 mBERT 是否理解這種對齊、代名詞或主語的概念。換句話說，我們問：mBERT 能否深入理解動詞的主語和賓語是什么構(gòu)成的，以及不同的語言如何將空間分割成主語和賓語？事實(shí)證明，同時(shí)接受大約 100 種語言培訓(xùn)的 mBERT 會以有趣的語言方式意識到這些區(qū)別?！?/p>

機(jī)器可以理解人類語言

這些發(fā)現(xiàn)為 mBERT 模型以及其他用于語言分析的計(jì)算模型如何表示語法信息提供了新的有趣見解。有趣的是，研究人員研究的基于 mBERT 向量表示的檢驗(yàn)?zāi)Ｐ鸵舶l(fā)現(xiàn)會產(chǎn)生一致的錯(cuò)誤，這些錯(cuò)誤可能與處理語言的人類所犯的錯(cuò)誤一致。

Papadimitriou 說：“在不同的語言中，當(dāng)一個(gè)主語是一個(gè)無生命的名詞時(shí)，我們的模型更有可能錯(cuò)誤地將該主體稱為主語，這意味著該名詞不是人類或動物。這是因?yàn)榫渥又械拇蠖鄶?shù)行為者往往是有生命的名詞：人類或動物。實(shí)際上，一些語言學(xué)家認(rèn)為主觀性實(shí)際上是一個(gè)范圍。與人類相比，作為人類的受試者比作為動物的受試者更‘主觀’，作為動物的受試者比既不是人類也不是動物的受試者更‘主觀’，這正是我們在 mBERT 模型中發(fā)現(xiàn)的?！?/p>

總體而言，研究表明 mBERT 模型可以識別句子中的主語和賓語，并以與現(xiàn)有語言學(xué)文獻(xiàn)一致的方式表示兩者之間的關(guān)系。

在未來，這一重要發(fā)現(xiàn)可以幫助計(jì)算機(jī)科學(xué)家更好地理解深度學(xué)習(xí)技術(shù)是如何處理人類語言的，從而幫助他們進(jìn)一步提高性能。

Mahowald 表示：“我們現(xiàn)在希望繼續(xù)探索語言的深層神經(jīng)模型，在它們的連續(xù)向量空間中表示語言類別（如主語和賓語）的方式。具體來說，我們認(rèn)為語言學(xué)的工作可以告訴我們?nèi)绾慰创@些模型以及它們在做什么，語言學(xué)的工作試圖將主語和賓語等角色描述為一組特征，而不是離散的類別?！?/p>

參考資料：https://arxiv.org/abs/2101.11043v1
責(zé)編AJX