無論是字面上、符號(hào)上還是概念上的表達(dá)，這種神經(jīng)元都會(huì)對(duì)相同的概念做出反應(yīng)。

OpenAI 的研究者們?cè)谌斯?a href="http://m.makelele.cn/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò) CLIP 上發(fā)現(xiàn)了「真」神經(jīng)元，這種機(jī)制解釋了 AI 模型對(duì)令人驚訝的視覺呈現(xiàn)進(jìn)行分類時(shí)，為何擁有如此的準(zhǔn)確性。研究人員表示，這是一項(xiàng)重要發(fā)現(xiàn)，可能對(duì)計(jì)算機(jī)大腦乃至人類大腦的研究產(chǎn)生重大影響。 這或許意味著通用人工智能距離我們并沒有想象的那么遠(yuǎn)。但理解了抽象概念的神經(jīng)元，卻也會(huì)做出一些令人啼笑皆非的理解。

15 年前，Quiroga 等人發(fā)現(xiàn)人腦中包含多模態(tài)神經(jīng)元。這些神經(jīng)元能夠?qū)@常見高級(jí)主題的抽象概念簇產(chǎn)生反應(yīng)，而不是任意特定的視覺特征。其中最著名的神經(jīng)元當(dāng)屬 Halle Berry 神經(jīng)元，它能夠?qū)γ绹輪T「哈莉·貝瑞」的照片、圖像和文本產(chǎn)生反應(yīng)。 今年 1 月初，OpenAI 提出了一種通用視覺系統(tǒng) CLIP，其性能媲美 ResNet-50，并在一些有挑戰(zhàn)性的數(shù)據(jù)集上超過現(xiàn)有的視覺系統(tǒng)。給出一組以語言形式表述的類別，CLIP 能夠立即將一張圖像與其中某個(gè)類別進(jìn)行匹配，而且它不像標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)那樣需要針對(duì)這些類別的特定數(shù)據(jù)進(jìn)行微調(diào)。 最近，OpenAI 又有了一個(gè)驚人發(fā)現(xiàn)：CLIP 模型中出現(xiàn)了多模態(tài)神經(jīng)元！這類神經(jīng)元能夠?qū)σ晕谋?、符?hào)或概念形式呈現(xiàn)的相同概念作出反應(yīng)。例如「Spider-Man」神經(jīng)元（類似 Halle Berry 神經(jīng)元）能夠?qū)χ┲雸D像、文本「spider」的圖像和漫畫人物「蜘蛛俠」做出響應(yīng)。

在 CLIP 模型中發(fā)現(xiàn)的神經(jīng)元具備與人腦中 Halle Berry 神經(jīng)元類似的功能，相比之前的人工神經(jīng)元有所進(jìn)步。 這一發(fā)現(xiàn)為合成視覺系統(tǒng)與自然視覺系統(tǒng)中的普遍機(jī)制——抽象提供了線索。研究人員發(fā)現(xiàn) CLIP 的最高層將圖像組織為 idea 的松散語義集合，從而為模型的通用性和表示的緊湊性提供了簡(jiǎn)單解釋。 OpenAI 表示：這一發(fā)現(xiàn)或許可以解釋 CLIP 模型的分類準(zhǔn)確率，也是理解大型語言模型在訓(xùn)練過程中學(xué)習(xí)到的關(guān)聯(lián)和偏見的重要一步。

那么，CLIP 中的多模態(tài)神經(jīng)元到底是什么樣子呢？OpenAI 研究人員利用可解釋性工具進(jìn)行了探究，發(fā)現(xiàn) CLIP 權(quán)重內(nèi)的高級(jí)概念包含很多人類視覺詞匯，如地區(qū)、面部表情、宗教圖像、名人等。通過對(duì)神經(jīng)元影響力的探究，我們可以更加了解 CLIP 如何執(zhí)行分類。 CLIP 中的多模態(tài)神經(jīng)元 OpanAI 的論文《Multimodal Neurons in Artificial Neural Networks》建立在近十年來對(duì)卷積網(wǎng)絡(luò)解釋的研究基礎(chǔ)上，該研究首先觀察到許多經(jīng)典方法可以直接應(yīng)用于 CLIP。OpenAI 使用兩種工具來理解模型的激活，分別是特征可視化（通過對(duì)輸入進(jìn)行基于梯度的優(yōu)化來最大化神經(jīng)元的激活）和數(shù)據(jù)集示例（觀察數(shù)據(jù)集中神經(jīng)元最大激活圖像的分布）。 通過這些簡(jiǎn)單的方法，OpenAI 發(fā)現(xiàn) CLIP RN50x4（ResNet-50 利用 EfficientNet 擴(kuò)展規(guī)則擴(kuò)增 4 倍）中的大多數(shù)神經(jīng)元都可以得到解釋。這些神經(jīng)元似乎是「多面神經(jīng)元」的極端示例，它們只在更高層次的抽象上對(duì)不同用例做出響應(yīng)。 例如，對(duì)于夏季和冬季兩個(gè)不同季節(jié)，文本、人臉、Logo、建筑物、室內(nèi)、自然和姿態(tài)等表現(xiàn)出了不同的效果：

對(duì)于美國和印度兩個(gè)不同國家，文本、人臉、Logo、建筑物、室內(nèi)、自然和姿態(tài)等也呈現(xiàn)出了不同的效果：

OpenAI 驚奇地發(fā)現(xiàn)，其中很多類別似乎是利用顱內(nèi)深度電極記錄的癲癇患者內(nèi)側(cè)顳葉中的鏡像神經(jīng)元，包含對(duì)情緒、動(dòng)物和名人做出反應(yīng)的神經(jīng)元。 然而，OpenAI 對(duì) CLIP 的研究發(fā)現(xiàn)了更多這類奇怪但絕妙的抽象，包括似乎能計(jì)數(shù)的神經(jīng)元、對(duì)藝術(shù)風(fēng)格做出響應(yīng)的神經(jīng)元，甚至對(duì)具有數(shù)字修改痕跡的圖像做出響應(yīng)的神經(jīng)元。 多模態(tài)神經(jīng)元的構(gòu)成是怎樣的 這些多模態(tài)神經(jīng)元能夠幫助我們理解 CLIP 如何執(zhí)行分類。使用一個(gè)稀疏線性探針即可以很容易地查看 CLIP 的權(quán)重，從而了解哪些概念結(jié)合在一起實(shí)現(xiàn)了 ImageNet 數(shù)據(jù)集上的最終分類。 如下圖所示，存錢罐似乎是由一個(gè)「finance」神經(jīng)元和瓷器（porcelain ）神經(jīng)元組成的?！窼pider-Man」神經(jīng)元也表現(xiàn)為一個(gè)蜘蛛檢測(cè)器，并在「谷倉蜘蛛」（barn spider）的分類中發(fā)揮重要作用。

對(duì)于文本分類，OpenAI 的一個(gè)關(guān)鍵發(fā)現(xiàn)是，這些概念以類似于 word2vec 目標(biāo)函數(shù)的方式包含在神經(jīng)元中，它們幾乎是線性的。因此，這些概念構(gòu)成了一個(gè)單代數(shù)，其行為方式類似于線性探針。通過線性化注意力，我們也可以像線性探針那樣檢查任意句子，具體如下圖所示：

錯(cuò)誤的抽象 CLIP 的抽象化程度揭示了一種新的攻擊向量（vector of attack），OpenAI 認(rèn)為這種向量并未在以往的系統(tǒng)中表現(xiàn)出來。和很多深度網(wǎng)絡(luò)一樣，模型最高層上的表征完全由這類高級(jí)抽象控制。但是，區(qū)分 CLIP 的關(guān)鍵在于程度（degree），CLIP 的多模態(tài)神經(jīng)元能夠在文字和符號(hào)之間實(shí)現(xiàn)泛化，而這可能是一把雙刃劍。 通過一系列精心設(shè)計(jì)的實(shí)驗(yàn)，OpenAI 證明了可以利用這種還原行為來欺騙模型做出荒謬的分類。此外，OpenAI 觀察到，CLIP 中神經(jīng)元的激發(fā)通常可以借助其對(duì)文本圖像的響應(yīng)來控制，從而為攻擊該模型提供了一個(gè)簡(jiǎn)單的向量。 舉例而言，金融神經(jīng)元可以對(duì)存錢罐和貨幣符號(hào)串「$$$」做出響應(yīng)。通過強(qiáng)制性地激活金融神經(jīng)元，我們可以欺騙 CLIP 模型將一條狗分類為存錢罐。具體如下圖所示：

野外攻擊 OpenAI 將這類攻擊稱為「typographic attack」。研究人員窮盡 CLIP 模型魯棒性讀取文本的能力，發(fā)現(xiàn)即使是手寫文本圖像也能騙過模型。如下圖所示，在「史密斯奶奶」青蘋果表面貼上寫著「iPod」的紙張，系統(tǒng)將其錯(cuò)誤分類為「iPod」。

研究人員認(rèn)為這類攻擊還可能以更微妙、不明顯的形式出現(xiàn)。CLIP 的輸入圖像往往用多種細(xì)微復(fù)雜的形式進(jìn)行抽象，這可能會(huì)對(duì)一些常見模式進(jìn)行過度抽象——過度簡(jiǎn)化，進(jìn)而導(dǎo)致過度泛化。 偏見和過度泛化 CLIP 模型基于精心收集的網(wǎng)絡(luò)圖像進(jìn)行訓(xùn)練，但它仍然繼承了許多未經(jīng)檢查的偏見與關(guān)聯(lián)。研究人員發(fā)現(xiàn) CLIP 中的許多關(guān)聯(lián)是良性的，但也有一些關(guān)聯(lián)會(huì)帶來損害，如對(duì)特定個(gè)人或組織的貶損。例如，「Middle East」（中東）神經(jīng)元與恐怖主義存在關(guān)聯(lián)，「immigration」（移民）神經(jīng)元對(duì)拉丁美洲有反應(yīng)，甚至有的神經(jīng)元還對(duì)黑皮膚人群和大猩猩產(chǎn)生反應(yīng)。這映射了早期其他模型中存在的圖像標(biāo)注問題，而這是不可接受的。 這些關(guān)聯(lián)對(duì)此類強(qiáng)大視覺系統(tǒng)的應(yīng)用提出了極大挑戰(zhàn)。不管是經(jīng)過微調(diào)還是使用零次學(xué)習(xí)，這些偏見和關(guān)聯(lián)大概率仍會(huì)存在于系統(tǒng)中，而它們也將以可見或不可見的方式影響模型部署。我們或許很難預(yù)測(cè)很多帶偏見的行為，如何度量和糾正它們是非常困難的事情。OpenAI 認(rèn)為這些可解釋性工具可以提前發(fā)現(xiàn)關(guān)聯(lián)和歧視，進(jìn)而幫助從業(yè)者規(guī)避潛在的問題。 OpenAI 表示他們對(duì) CLIP 的理解仍在繼續(xù)，而是否發(fā)布 CLIP 模型的大型版本尚屬未知。 這一研究或許會(huì)對(duì) AI 技術(shù)，甚至神經(jīng)科學(xué)研究打開一條新路?！敢?yàn)槲覀儾涣私馍窠?jīng)網(wǎng)絡(luò)運(yùn)作的機(jī)制，因此很難理解它們出錯(cuò)的原因，」OpenAI 的聯(lián)合創(chuàng)始人、首席科學(xué)家 Ilya Sutskever 說道?！肝覀儾恢浪鼈兪欠窨煽?，或它們是否存在一些測(cè)試中未發(fā)現(xiàn)的漏洞?！? 此外，OpenAI 還發(fā)布了用于理解 CLIP 模型的工具，例如 OpenAI Microscope，它最近更新了 CLIP RN50x4 中每個(gè)神經(jīng)元的特征可視化、數(shù)據(jù)集示例和文本特征可視化。詳情參見：https://microscope.openai.com/models

圖源：https://microscope.openai.com/models/contrastive_4x?models.technique=deep_dream 研究者還公布了 CLIP RN50x4 和 RN101 的權(quán)重，參見 GitHub 項(xiàng)目：https://github.com/openai/CLIP

責(zé)任編輯：lq