眾所周知，計算機(jī)很多時候可以給我們的問題一個很好的答案，但我們并不理解它是如何得到這些答案的。Been Kim一直在開發(fā)一個“面向人類的翻譯器（translator for humans）”，這樣我們就可以知道人工智能何時會失效。

Been Kim

如果一個醫(yī)生告訴你需要做手術(shù)，你會想知道為什么，而且你會期望自己可以理解這個解釋，即使你從未上過醫(yī)學(xué)院。谷歌大腦（Google Brain）的科學(xué)家Kim認(rèn)為，我們應(yīng)該對人工智能抱有更高的期望。作為“可解釋”機(jī)器學(xué)習(xí)(“interpretable” machine learning)的專家，她希望開發(fā)能夠向任何人解釋自己的人工智能軟件。

自從大約十年前人工智能興起以來，人工智能背后的神經(jīng)網(wǎng)絡(luò)技術(shù)使用其日益強大的學(xué)習(xí)和識別數(shù)據(jù)模式的能力，已經(jīng)改變了從電子郵件到藥物開發(fā)的每一件事。但這種能力帶來了一個問題：現(xiàn)代深度學(xué)習(xí)網(wǎng)絡(luò)的復(fù)雜性使之能夠成功地學(xué)會如何駕駛汽車和發(fā)現(xiàn)保險欺詐，但即便是人工智能專家也無法了解它內(nèi)部工作的機(jī)制。如果一個神經(jīng)網(wǎng)絡(luò)被訓(xùn)練來識別像肝癌和精神分裂癥這樣的病人——就像2015年紐約西奈山醫(yī)院的“深度病人(Deep Patient)”系統(tǒng)一樣——我們不知道神經(jīng)網(wǎng)絡(luò)關(guān)注的是數(shù)據(jù)的哪些特征。這種“知識”被加諸于許多層的人工神經(jīng)元上，每層都有成百上千的連接。

隨著越來越多的行業(yè)試圖用人工智能實現(xiàn)自動化或增強他們的決策能力，這種黑箱理論似乎顯示出根本性的缺陷。美國國防部高級研究計劃局(DARPA)的“XAI”項目（用于“可解釋的人工智能”）正在積極研究這個問題，可解釋性已經(jīng)從機(jī)器學(xué)習(xí)研究的邊緣轉(zhuǎn)移到了它的中心。Kim說：“人工智能正處于這個關(guān)鍵時刻，人類正試圖考察這項技術(shù)是否對我們有益?！薄叭绻覀儾唤鉀Q這一可解釋性問題，我認(rèn)為我們就不應(yīng)該繼續(xù)使用這項技術(shù)。我們可能會放棄它?！?/p>

Kim和她在Google Brain的同事最近開發(fā)了一個名為“概念激活向量測試（TCAV）”的系統(tǒng)，她將其描述為“面向人類的翻譯器”，該系統(tǒng)允許用戶詢問黑匣子人工智能一個特定的高層次概念在其推理中發(fā)揮了多大作用。例如，如果一個機(jī)器學(xué)習(xí)系統(tǒng)已經(jīng)被訓(xùn)練識別圖像中的斑馬，那么一個人可以使用TCAV來確定系統(tǒng)在做出決定時對“條紋”概念給予了多少權(quán)重。

可解釋性是什么意思，它為什么如此重要，Kim一一給出了解答。

“可解釋性”這個詞到底是什么意思？

可解釋性有兩個分支。一種是科學(xué)的可解釋性：如果你把神經(jīng)網(wǎng)絡(luò)作為研究對象，那么你就可以進(jìn)行科學(xué)實驗來真正理解關(guān)于模型的細(xì)節(jié)、它的反應(yīng)以及諸如此類的事情。

可解釋性還有第二個分支，我主要關(guān)注的是人工智能的可解釋性。你不必了解模型的每一個細(xì)節(jié)。但是，只要你能夠理解并足夠安全地使用該工具就可以了，這就是我們的目標(biāo)。

你為什么能對一個你不完全理解其工作原理的系統(tǒng)有信心呢？

我給你打個比方。假設(shè)我后院有一棵樹，我想砍掉它。我可能會用電鋸來做這項工作?，F(xiàn)在，我不完全理解電鋸是如何工作的。但手冊上說，“這些是你需要小心的事情，以免割到你的手指?！彼?，根據(jù)這本手冊，我寧愿用電鋸也不愿用手鋸，手鋸的原理容易理解，但會讓我花五個小時來砍樹。

你知道“切割”是什么，即使你不完全知道完成這個動作的機(jī)制是什么。

對。第二個可解釋性的第二個分支是：我們能充分理解一個工具，以便安全地使用它嗎？我們可以通過確認(rèn)工具中反映出的人類已有的知識來形成這種理解。

“反映人類知識”如何使人工智能更容易理解？

這有另一個例子。如果醫(yī)生使用機(jī)器學(xué)習(xí)模型來進(jìn)行癌癥診斷，醫(yī)生會想知道，該模型有沒有利用數(shù)據(jù)中我們不想涉及的隨機(jī)性。確保這一點的一種方法是確認(rèn)機(jī)器學(xué)習(xí)模型正在做醫(yī)生會做的事情。換句話說，證明醫(yī)生自己的診斷知識已經(jīng)反映在模型中。

因此，如果醫(yī)生在判斷一個細(xì)胞是否變成了癌細(xì)胞，他們可能會在標(biāo)本中尋找一種叫做“融合腺（fused glands）”的東西。他們還可以考慮患者的年齡，以及患者過去是否接受過化療。這些都是醫(yī)生診斷癌癥時關(guān)心的因素。如果我們能證明機(jī)器學(xué)習(xí)模型也注意到了這些因素，那么模型就更容易理解了，因為它反映了醫(yī)生作為人類會具備的知識。

這就是TCAV所做的嗎？它揭示了機(jī)器學(xué)習(xí)模型使用哪些高級概念來做出決策？

對。在此之前，可解釋性方法只解釋了在輸入數(shù)據(jù)的特征上，神經(jīng)網(wǎng)絡(luò)做了什么工作。也就是說，如果您有圖像，每個像素都是一個輸入?yún)?shù)。事實上，Yann Lecun（一位早期的深度學(xué)習(xí)先驅(qū)，目前是Facebook的人工智能研究主管）說，你可以查看神經(jīng)網(wǎng)絡(luò)中的每個節(jié)點，并查看每個輸入的數(shù)值。這對電腦來說沒問題，但人類不會這樣做。我不會告訴你，“哦，看看100到200像素，RGB值是0.2和0.3?！蔽抑粫f，“有一張狗的照片，它的毛發(fā)真的很蓬松?！边@就是人類交流的方式——利用概念。

TCAV如何把輸入的數(shù)據(jù)轉(zhuǎn)化成概念？

讓我們回到使用機(jī)器學(xué)習(xí)模型的醫(yī)生的那個例子，這個機(jī)器學(xué)習(xí)模型已經(jīng)被訓(xùn)練為將細(xì)胞樣本的圖像按照可能存在的癌癥分類。作為醫(yī)生，你可能想知道“融合腺體”的概念對預(yù)測癌癥有多重要。首先，你收集一些圖像，比如20個，其中有一些含有融合腺體的細(xì)胞?，F(xiàn)在你將這些標(biāo)記的示例插入模型中。

那么TCAV內(nèi)部所做的就是所謂的“敏感性測試”，當(dāng)我們將這些包含融合腺體的圖片放入模型，癌癥陽性預(yù)測的概率會增加多少？你可以將其輸出為一個介于0和1之間的數(shù)字，這是你的TCAV得分。如果概率增加，證明這是模型的一個重要概念。如果沒有，這就不是一個重要的概念。

“概念”是一個模糊的術(shù)語。有沒有TCAV不能處理的概念？

如果你不能使用數(shù)據(jù)表達(dá)你的概念，那么它將無法工作。如果你的機(jī)器學(xué)習(xí)模型是在圖像上訓(xùn)練的，那么這個概念必須是可視化的。比如說，我想用視覺表達(dá)“愛”的概念，這真的很難。

TCAV本質(zhì)上是為了建立對人工智能的信任，而不是真正的理解它嗎？

不是，我們從認(rèn)知科學(xué)和心理學(xué)的研究中知道，人類很容易上當(dāng)受騙。這意味著欺騙一個人去相信某件事其實很容易。機(jī)器學(xué)習(xí)可解釋性的目標(biāo)與此相反。它告訴你一個系統(tǒng)是否安全，重要的是找到真相而不是建立信任?？山忉屝缘闹攸c是揭示人工智能推理中的潛在缺陷。

它怎么能暴露自己的缺陷？

你可以使用TCAV向經(jīng)過訓(xùn)練的模型測試相關(guān)的概念。回到醫(yī)生使用人工智能進(jìn)行癌癥預(yù)測的例子，醫(yī)生們可能會突然想，“這臺機(jī)器似乎傾向于對帶有藍(lán)色陰影的圖像給出患有癌癥的預(yù)測。我們認(rèn)為不應(yīng)該考慮這一因素?！币虼?，如果帶有“藍(lán)色”的TCAV分?jǐn)?shù)很高，這就成為這個機(jī)器學(xué)習(xí)模型的一個缺陷。

TCAV是針對無法解釋的機(jī)器學(xué)習(xí)模型設(shè)計的。為什么不讓系統(tǒng)從一開始就可以解釋呢？

可解釋性研究的一個分支，側(cè)重于建立反映人類推理方式的固有可解釋模型。但我的看法是：現(xiàn)在你在任何地方都有人工智能模型，這些模型已經(jīng)被構(gòu)建，并且已經(jīng)得到重要應(yīng)用，而從一開始我們就沒有考慮過可解釋性。這就是事實。谷歌就有很多這樣的情況！你可以說，“可解釋性是非常有用的，讓我為你建立另一個模型來取代你已有的模型。”那好吧，祝你好運。

那你怎么辦？

我們?nèi)匀恍枰袛噙@項技術(shù)是否適合我們。這就是我為什么研究“后訓(xùn)練（Posttraining）”的可解釋性方法。如果你有一個別人給你的模型，而你不能改變它，你如何去為它的行為生成解釋，以便你可以安全地使用它？這就是TCAV工作的意義所在。

你相信如果沒有可解釋性，人類可能會放棄人工智能技術(shù)嗎？考慮到它的強大功能，你真的認(rèn)為這是現(xiàn)實的可能性嗎？

是的。專家系統(tǒng)（智能計算機(jī)程序系統(tǒng)）就是這樣。在20世紀(jì)80年代，我們確定他們比人工操作人員執(zhí)行某些任務(wù)更便宜。但現(xiàn)在誰在使用專家系統(tǒng)呢？沒有人。之后我們進(jìn)入了人工智能的冬天。

因為人工智能鋪天蓋地的宣傳和資金的大量投入，現(xiàn)在看起來不太可能放棄人工智能。但從長遠(yuǎn)來看，我認(rèn)為人類可能發(fā)現(xiàn)——也許是出于恐懼，也許是因為缺乏證據(jù)——這項技術(shù)不適合我們。這也是可能的。