電子發(fā)燒友App
如果一名醫(yī)生告知要進行手術，人們肯定首先希望了解為什么——即便對方不具備任何專業(yè)的醫(yī)學知識，醫(yī)生明確解釋診斷理由仍然極其必要。而人工智能也一樣。
眾所周知，神經網絡是出了名的難理解——計算機雖然能夠提出一項解決方案，但卻無法就產生的結論做出解釋。現(xiàn)在，來自Google Brain團隊的一名研究科學家Been Kim，正在開發(fā)一套“人類翻譯器”，希望構建能夠向任何人做出解釋的AI軟件。
約十年前，人工智能背后的神經網絡技術開始快速發(fā)展，影響了從電子郵件到藥物發(fā)明等各個領域，同時表現(xiàn)出越來越強大的學習與數(shù)據(jù)模式識別能力。然而，這種力量本身還帶來了一種不容忽視的警告：一方面，現(xiàn)代深度學習網絡自主學會如何駕駛汽車以及發(fā)現(xiàn)保險欺詐活動具備極高復雜性，同時，也導致其內部運作方式幾乎無法被理解——沒錯，就連AI專家也無法破解個中奧秘。因此，如果我們通過訓練神經網絡來識別可能存在肝癌、精神分裂癥等疾病風險的患者（例如2015年紐約西奈山醫(yī)院開發(fā)的「Deep Patient」深度病患系統(tǒng)），那么結果就是，我們根本無法準確辨別神經網絡實際關注的是數(shù)據(jù)中的哪些特征。這種“知識”全面分布在神經網絡的各個層，其中每一層都存在數(shù)百甚至成千上萬個連接。
隨著越來越多行業(yè)試圖通過人工智能技術實現(xiàn)自身決策，這種類似于“黑匣子”的問題已經不再是一種技術層面的偏執(zhí)，而成為實實在在的基礎性缺陷。美國國防部高級研究計劃局（簡稱DARPA）的“XAI”項目（即可解釋AI）正在積極研究這個問題，這意味著，可解釋性已經由機器學習的邊緣化研究轉化為新的探索核心。Kim指出，“人工智能正處于發(fā)展的關鍵時刻，人類正在試圖弄清這項技術是否真能為我們帶來助益。如果我們無法解決這個可解釋性問題，我們將不會繼續(xù)推進這項技術，甚至有可能將其放棄?！?/p>
Kim和谷歌Brain團隊的同事們剛剛開發(fā)出一套名為“概念激活矢量測試（Testing with Concept Activation Vectors，簡稱TCAV）”的系統(tǒng)，她將其描述為一種“人類翻譯器”，允許用戶向黑匣子AI詢問某些特定高級概念，從而了解神經網絡的推理過程。舉例來說，如果機器學習系統(tǒng)經過訓練學會了如何發(fā)現(xiàn)圖像當中的斑馬，那么人們就可以利用TCASV來確定這套系統(tǒng)在做出決策時會賦予“條紋”這一概念怎樣的權重。
TCAV系統(tǒng)最初是在一套經過訓練、擁有圖像識別能力的機器學習模型上進行測試的，不過這套系統(tǒng)同時也適用于訓練為文本識別以及對某類數(shù)據(jù)進行可視化處理的模型——例如EEG波形。Kim解釋稱，“這是一套通用而簡單的系統(tǒng)，你可以將其接入多種不同的模型當中?！?/p>
我們與Kim談到了可解釋性的具體含義、其用途以及重要意義所在。以下為經過編輯與提煉的訪談內容。
圖：Google Brain團隊研究科學家Been Kim
問：您的職業(yè)生涯一直專注于機器學習的“可解釋性”。但是，可解釋性究竟意味著什么呢？
Been Kim：可解釋性擁有兩大分支。第一大分支是對科學的可解釋性：如果你將神經網絡視為研究對象，那么就可以通過科學實驗以真正理解關于模型的一切細節(jié)——例如其如何做出反應，諸如此類。
可解釋性的第二大分支，也就是我一直主要關注的方向——對負責任人工智能的解釋能力。我們不需要了解模型中的所有細節(jié)，但必須通過理解來確定我們能夠以安全的方式使用這種工具，這也正是我們設定的目標。
問：那么您要如何對一套不完全了解其運作方式的系統(tǒng)建立信心？
Been Kim：這里我想打個比方。假設我的后院有一棵樹，我想把它砍掉，讓院子看起來清爽一點。我可能擁有一把能夠搞定這項工作的鏈鋸。目前，我還不完全了解鏈鋸的工作原理，但產品手冊上提到：“請注意以下事項，以防用戶削到手指?！币虼烁鶕?jù)這本手冊的說明，我更傾向于使用電鈕而非手鋸，因為雖然后者上手難度更低，但我可能得花上5個小時才能完成砍樹任務。
也就是說，你能夠理解“砍樹”是什么意思；如此一來，即使你并不很明白鏈鋸的工作原理，也能夠利用它實現(xiàn)這一目標。
沒錯，可解釋性中第二大分支的目標就是：我們是否能夠充分理解一種工具，從而以安全的方式加以使用？我們可以將確定有效的人類知識反映到工具當中，進而建立起這種理解。
問：那么，“反映人類知識”的方式是如何讓黑匣子AI這類系統(tǒng)具備可理解性的？
Been Kim：下面我想列舉另一個例子。如果醫(yī)生使用機器學習模型進行癌癥診斷，那么醫(yī)生本人肯定希望確保模型當中不存在那些來自我們不希望使用的數(shù)據(jù)的某些隨機相關性。要保障這樣的要求，一種可行的方法就是，確定機器學習模型正在以與人類醫(yī)生類似的方式執(zhí)行診斷流程。換句話說，也就是將醫(yī)生自己的診斷知識反映在這套機器學習模型當中。
因此，如果醫(yī)生們會研究細胞樣本以診斷癌癥，他們可能會在樣本當中尋找一種被稱為“融合腺體”的東西。此外，他們可能也會考慮到患者的年齡，以及患者過去是否擁有過化療經歷等等。這些因素正是醫(yī)生在嘗試診斷癌癥時所關心的因素或者概念。如果我們能夠證明機器學習模型也在關注這些因素，那么該模型的可理解性將顯著提升，因為其確實反映出與醫(yī)生相符的人類知識運用行為。
問：那么，TCAV的起效方式是否也正是如此——即揭示機器學習模型正在使用哪些高級概念來做出決策？
Been Kim：沒錯。首先我要說明一點，可解釋性方法只是解釋了神經網絡在“輸入特征”方面做出的實際操作?？赡芪艺f得還不夠確切。如果你擁有圖像，那么其中的每一個像素都屬于輸入特征。事實上，Yann LeCun（深度學習的早期先驅，F(xiàn)acebook公司AI研究主管）已經表示，他堅信這些模型具備可解釋性。因為我們可以查看神經網絡中的每一個節(jié)點，并查看每一項輸入特征的數(shù)值。這些輸入特征對于計算機來說是很好的素材，但人類卻無法從中直接看出具體意義。畢竟計算機的思維方式類似于“哦，快看，像素數(shù)量在100到200之間，RGB值是0，2與0．3?！毕啾戎?，人類會選擇完全不同的概念溝通方式，例如“這是一張小狗的圖片，而且這只狗的毛非常蓬松?！?/p>
問：那么，TCAV是如何在輸入特征與概念之間進行這種轉換的？
Been Kim：讓我們回到醫(yī)生的例子，醫(yī)生還是使用機器學習模型，而這套模型已經完成訓練從而通過對細胞樣本圖像的分類診斷潛在癌癥。作為醫(yī)生，你可能希望了解在對癌癥做出主動預測時，機器學習模型對于“融合腺體”的具體重視程度。首先，你會收集一些圖像——比如說20張圖像，其中包含有融合腺體部分?，F(xiàn)在，你會將這些帶有標記的示例插入到模型當中。
接下來，TCAV在內部會進行一項所謂“敏感度測試。當我們添加這些包含融合腺體的標記圖像時，癌癥陽性預測的可能性增加了多少？你可以將結果輸出為0到1之間的數(shù)字。就是這樣，這一結果就是您得到的TCAV分數(shù)。如果概率增加，則意味著融合腺體對于機器學習模型而言確實是一項重要的概念。反之，如果概率沒有增加，則代表模型沒有將其視為一項重要概念。
問：“概念”是一種模糊的表達。是否存在某些不適用于TCAV的場景？
Been Kim：如果我們無法使用（數(shù)據(jù)集）載體中的某些子集來表達自己的概念，那么這套判斷系統(tǒng)就沒辦法起效。如果您的機器學習模型是以圖像為基礎進行訓練的，那么這一概念必須擁有視覺層面的可表達性。舉例來說，我們可以想象要如何以視覺方式表達“愛情”這一概念。這真的是一項很困難的任務。
我們也認真驗證了這一概念。我們擁有一個統(tǒng)計測試程序，如果某個概念矢量對于模型的影響與隨機矢量相同，那么其就會拒絕該概念矢量。如果你提交的概念沒有通過測試，那么TCAV會說：“我不知道。這個概念看起來似乎對于模型沒什么重要影響。”
問：TCAV的主要作用是在AI當中建立信任，而非真正理解AI模型，是嗎？
Been Kim：對，接下來我會解釋其中的原因，因為建立信任與理解模型確實存在著重要的區(qū)別。
我們從認知科學與心理學的反復研究當中認識到，人類非常容易上當受騙。這意味著，欺騙一個人對某些東西產生信任實際非常容易。但機器學習的可解釋性目標恰恰與此相反，它會告訴我們對系統(tǒng)的使用是否安全。換言之，這是在揭示一種真相。所以，我覺得“信任”這個詞用在這里并不準確。
問：也就是說，可解釋性的核心在于揭示AI推理當中存在的潛在缺陷？
Been Kim：沒錯，就是這么回事。
問：那么它是如何揭露這些缺陷的？
Been Kim：你可以利用TCAV向經過訓練的模型詢問一些非相關概念。我們還是以使用AI工具進行癌癥診斷的醫(yī)生為例子，醫(yī)生可能會突然想到，“看起來機器傾向于把藍色色彩比例較高的圖像視為癌癥高發(fā)指標。我們認為不應該通過這種方式的考慮問題。”因此，如果他們發(fā)現(xiàn)“藍色”這一輸入特征確實擁有更高的TCAV分數(shù)，就代表著他們在診斷機器學習模型當中找到了一個問題。
問：TCAV的設計初衷在于處理那些不具備可解釋性的現(xiàn)有AI系統(tǒng)。那么，為什么不從開發(fā)之初就實現(xiàn)系統(tǒng)的可解釋性，而要繼續(xù)構建這些無法解釋的黑匣子型AI？
Been Kim：可解釋性研究的一大分支，側重于構建出能夠反映人類推理方式的固有可解釋模型。但我的看法是：現(xiàn)在人們已經在幾乎各個領域構建起AI模型，這些成果也已經被用于種種重要目標——它們在設計之初并沒有考慮到可解釋性這項要求。這是事實，我們無法回避。我們在谷歌也擁有大量這樣的模型！您當然可以說，“可解釋性非常重要，我們應該構建新的模型來取代目前正在使用的原有模型。”道理雖然沒錯，但可行性真的不太高。
因此，面對這樣的情況我們該做些什么？我們仍然需要想辦法順利度過目前的關鍵時刻，即判斷人工智能技術到底能否給我們帶來助益。出于這樣的考量，我才傾向于使用“訓練后”解釋方法。如果您擁有一套由他人提供的模型，而且已經無法對模型本身做出改變，那么該如何對其行為生成解釋，從而確保整個使用過程安全而可靠？這正是TCAV系統(tǒng)的核心意義所在。
問：TCAV允許人們向AI發(fā)問，借此了解某些特定概念在決策過程中的重要性水平。然而，如果我們不清楚該如何發(fā)問——如何我們希望AI系統(tǒng)能夠自我解釋，又該怎樣實現(xiàn)？
Been Kim：我們目前正在構建新的方案，旨在自動為模型使用者發(fā)現(xiàn)概念。我們將其稱為DTCAV，也就是“發(fā)現(xiàn)TCAV”。但實際上，我認為讓人類進入整個循環(huán)，從而實現(xiàn)機器與人之間的對話才是實現(xiàn)可解釋性的關鍵。
對于大多數(shù)高風險應用場景而言，相關領域的專家已經擁有了自己關注的一整套概念清單。我們在谷歌Brain團隊的醫(yī)療應用當中已經一次又一次意識到這種狀況的真實性。實際上，使用者并不需要從他處獲取這些相關概念——他們已經擁有重要的概念儲備，并希望把自己的關注點提交給模型。我們與一位治療糖尿病視網膜病變（一種眼科疾病）的醫(yī)生一同工作，當我們向她介紹TCAV系統(tǒng)的時候，她感到非常興奮。因為她自己已經擁有大量關于這套模型診斷方法的假設，現(xiàn)在她能夠借助這套系統(tǒng)測試這些猜想是否正確。這實際上代表著一種巨大的優(yōu)勢，也是一種強調以用戶為中心的機器學習協(xié)作方式。
問：您堅信如果無法實現(xiàn)可解釋性，人類最終也許會放棄人工智能技術。但考慮到人工智能如此強大，您真的認為人類會因此將這一切扔進垃圾堆嗎？
Been Kim：是的，我堅信這一點。實際上，專家系統(tǒng)就曾經經歷過同樣的情況。上世紀八十年代，我們認為專家系統(tǒng)能夠以遠低于人類操作人員的成本高效執(zhí)行某些任務。但是現(xiàn)在，還有誰在使用專家系統(tǒng)？完全沒有。而且在那之后，我們開始進入AI技術的寒冬。
就目前來看，徹底放棄的可能性不大，因為人工智能已經成為宣傳炒作與投資押注的重要領域。但從長遠角度來看，我認為人類最終也許會做出這樣的決定。可能是出于對可靠性證明缺失的擔憂甚至恐懼，人類將認定人工智能技術并不適合我們。是的，確實存在這種可能性。
工商網監(jiān)
評論