可解釋性仍然是現(xiàn)代深度學習應(yīng)用的最大挑戰(zhàn)之一。計算模型和深度學習研究的最新進展使我們能夠創(chuàng)建極度復(fù)雜的模型，包括數(shù)千隱藏層和數(shù)千萬神經(jīng)元。效果驚人的前沿深度神經(jīng)網(wǎng)絡(luò)模型構(gòu)建相對簡單，但了解這些模型如何創(chuàng)造和使用知識仍然是一個挑戰(zhàn)。

最近，Google Brain團隊的研究人員發(fā)表了一篇論文，提出了一種名為概念激活向量（Concept Activation Vectors, CAV）的新方法，它為深度學習模型的可解釋性提供了一個新的視角。

可解釋性 vs 準確性

要理解CAV技術(shù)，需要了解深度學習模型中可解釋性難題的本質(zhì)。在當今一代深度學習技術(shù)中，模型的準確性與可解釋性之間存在著永恒的矛盾?？山忉屝?準確性矛盾存在于完成復(fù)雜知識任務(wù)的能力和理解這些任務(wù)是如何完成能力之間。知識與控制，績效表現(xiàn)與可核查性，效率與簡便性...任意一項抉擇其實都是準確性和可解釋性之間的權(quán)衡。

你是關(guān)心獲得最佳結(jié)果，還是關(guān)心結(jié)果是如何產(chǎn)生的？這是數(shù)據(jù)科學家在每個深度學習場景中都需要回答的問題。許多深度學習技術(shù)本質(zhì)上非常復(fù)雜，盡管它們在許多場景中都很準確，解釋起來卻非常困難。如果我們在一個準確性-可解釋性圖表中繪制一些最著名的深度學習模型，我們將得到以下結(jié)果：

深度學習模型中的可解釋性不是一個單一的概念。我們可以從多個層次理解它：

要得到上圖每層定義的可解釋性，需要幾個基本的構(gòu)建模塊。在最近的一篇論文中，谷歌的研究人員概述了他們看來的一些可解釋性的基本構(gòu)建模塊。

Google總結(jié)了如下幾項可解釋性原則：

- 了解隱藏層的作用：深層學習模型中的大部分知識都是在隱藏層中形成的。在宏觀層面理解不同隱藏層的功能對于解釋深度學習模型至關(guān)重要。

- 了解節(jié)點的激活方式：可解釋性的關(guān)鍵不在于理解網(wǎng)絡(luò)中各個神經(jīng)元的功能，而在于理解同一空間位置被一起激發(fā)的互連神經(jīng)元群。通過互連神經(jīng)元群對神經(jīng)網(wǎng)絡(luò)進行分割能讓我們從一個更簡單的抽象層面來理解其功能。

-理解概念的形成過程：理解深度神經(jīng)網(wǎng)絡(luò)如何形成組成最終輸出的單個概念，這是可解釋性的另一個關(guān)鍵構(gòu)建模塊。

這些原則是Google新CAV技術(shù)背后的理論基礎(chǔ)。

概念激活向量

遵循前文討論的想法，通常所認為的可解釋性就是通過深度學習模型的輸入特征來描述其預(yù)測。邏輯回歸分類器就是一個典型的例子，其系數(shù)權(quán)重通常被解釋為每個特征的重要性。然而，大多數(shù)深度學習模型對諸如像素值之類的特征進行操作，這些特征與人類容易理解的高級概念并不對應(yīng)。此外，模型的內(nèi)部值（例如，神經(jīng)元激活）也很晦澀難懂。雖然諸如顯著圖之類的技術(shù)可以有效測量特定像素區(qū)域的重要性，但是它們無法與更高層級的概念相關(guān)聯(lián)。

CAV背后的核心思想是衡量一個概念在模型輸出中的相關(guān)性。概念的CAV就是一組該概念的實例在不同方向的值（例如，激活）構(gòu)成的向量。在論文中，Google研究團隊概述了一種名為Testing with CAV（TCAV）的線性可解釋方法，該方法使用偏導數(shù)來量化預(yù)測CAV表示的潛在高級概念的敏感度。他們構(gòu)想TCAV定義有四個目標：

- 易懂：使用者幾乎不需要機器學習專業(yè)知識。

- 個性化：適應(yīng)任何概念（例如，性別），并且不限于訓練中涉及的概念。

- 插入即用：無需重新訓練或修改機器學習模型即可運作。

- 全局量化：可以使用單一定量測度來解釋所有類或所有實例，而非僅僅解釋單個數(shù)據(jù)輸入。

為實現(xiàn)上述目標，TCAV方法分為三個基本步驟：

1）為模型定義相關(guān)概念。

2）理解預(yù)測對這些概念的敏感度。

3）推斷每個概念對每個模型預(yù)測類的相對重要性的全局定量解釋。

TCAV方法的第一步是定義相關(guān)的概念（CAV）。為實現(xiàn)此目的，TCAV選擇一組代表該概念的實例或?qū)ふ覙擞洖樵摳拍畹莫毩?shù)據(jù)集。我們可以通過訓練線性分類器區(qū)分概念實例產(chǎn)生的激活和各層中的實例來學習CAV。

第二步是生成一個TCAV分數(shù)，用于量化預(yù)測對特定概念的敏感度。TCAV使用了用于衡量ML預(yù)測值在某一概念方向、在激活層對輸入敏感度的偏導數(shù)。

最后一步嘗試評估學到的CAV的全局相關(guān)性，避免依賴不相關(guān)的CAV。畢竟TCAV技術(shù)的一個缺陷就是可能學到無意義的CAV，因為使用隨機選擇的一組圖像仍然能得到CAV，在這種隨機概念上的測試不太可能有意義。為了應(yīng)對這一難題，TCAV引入了統(tǒng)計顯著性檢驗，該檢驗以隨機的訓練次數(shù)（通常為500次）評估CAV。其基本思想是，有意義的概念應(yīng)該在多次訓練中得到一致的TCAV分數(shù)。

TCAV的運作

團隊進行了多次實驗來評估TCAV相比于其他可解釋性方法的效率。在一項最引人注目的測試中，團隊使用了一個顯著圖，嘗試預(yù)測出租車這一概念與標題或圖像的相關(guān)性。顯著圖的輸出如下所示：

使用這些圖像作為測試數(shù)據(jù)集，Google Brain團隊在Amazon Mechanical Turk上邀請50人進行了實驗。每個實驗人員執(zhí)行一系列共六個針對單個模型的隨機順序任務(wù)（3類對象 x 2種顯著圖）。

在每項任務(wù)中，實驗人員首先會看到四幅圖片和相應(yīng)的顯著性蒙版。然后，他們要評估圖像對模型的重要程度（10分制），標題對模型的重要程度（10分制），以及他們對答案的自信程度（5分制）。實驗人員總共評定了60個不同的圖像（120個不同的顯著圖）。

實驗的基本事實是圖像概念比標題概念更相關(guān)。然而，看顯著圖時，人們認為標題概念更重要（0％噪聲的模型），或者辨別不出差異（具有100％噪聲的模型）。相比之下，TCAV結(jié)果正確地表明圖像概念更重要。

TCAV是這幾年最具創(chuàng)新性的神經(jīng)網(wǎng)絡(luò)解釋方法之一。初始的代碼可以在GitHub上看到。許多主流深度學習框架可能會在不久的將來采用這些想法。