近日，Judea Pearl 發(fā)表技術(shù)報(bào)告，指出當(dāng)前機(jī)器學(xué)習(xí)的三個(gè)主要障礙，并提出了強(qiáng)人工智能的完整結(jié)構(gòu)應(yīng)該包含三個(gè)層級(jí)，而當(dāng)前的機(jī)器學(xué)習(xí)尚處于底層，最后他列舉了七個(gè)用于克服這些障礙的因果推理工具。

機(jī)器學(xué)習(xí)的巨大成功帶來(lái)了 AI 應(yīng)用的爆炸式增長(zhǎng)以及對(duì)具備人類級(jí)別智能的自動(dòng)化系統(tǒng)不斷增長(zhǎng)的期望。然而，這些期望在很多應(yīng)用領(lǐng)域中都遇到了基本的障礙。其中一個(gè)障礙就是適應(yīng)性或魯棒性。機(jī)器學(xué)習(xí)研究者注意到當(dāng)前的系統(tǒng)缺乏識(shí)別或響應(yīng)未經(jīng)特定編程或訓(xùn)練的新環(huán)境的能力。人們?cè)凇高w移學(xué)習(xí)」、「域適應(yīng)」和「終身學(xué)習(xí)」[Chen and Liu 2016] 這些方向進(jìn)行大量理論和實(shí)驗(yàn)研究就是為了克服這個(gè)障礙。

另一個(gè)障礙是可解釋性，即「機(jī)器學(xué)習(xí)模型仍然主要是黑箱的形式，無(wú)法解釋其預(yù)測(cè)或推薦背后的原因，因此降低了用戶的信任，阻礙了系統(tǒng)診斷和修復(fù)?！筟Marcus 2018]

第三個(gè)障礙和對(duì)因果關(guān)系的理解相關(guān)。理解因果關(guān)系這一人類認(rèn)知能力的標(biāo)志是達(dá)到人類級(jí)別智能的必要（非充分）條件。這個(gè)要素應(yīng)該使計(jì)算機(jī)系統(tǒng)對(duì)環(huán)境進(jìn)行簡(jiǎn)潔的編碼和模塊化的表征，對(duì)表征進(jìn)行質(zhì)詢，通過(guò)想象對(duì)表征進(jìn)行變化，并最終回答類似「如果……會(huì)如何？」這樣的問(wèn)題。例如，干預(yù)性的問(wèn)題：「如果我讓……發(fā)生了會(huì)如何？」，以及回溯性或解釋性的問(wèn)題：「如果我采取不同的做法會(huì)如何？」或「如果某件事情沒(méi)有發(fā)生會(huì)如何？」

Pearl 假設(shè)以上三個(gè)障礙需要用結(jié)合了因果建模工具的機(jī)器來(lái)解決，特別是因果圖示和它們的相關(guān)邏輯。圖模型和結(jié)構(gòu)模型的進(jìn)展使得反事實(shí)推理在計(jì)算上可行，因此使得因果推理成為強(qiáng)人工智能中的有效組件。

在下一部分中，作者將描述限制和支配因果推理的三個(gè)層級(jí)。最后一部分總結(jié)了如何使用因果推理的現(xiàn)代工具避免傳統(tǒng)機(jī)器學(xué)習(xí)的障礙。

三層因果層級(jí)

因果模型揭示的一個(gè)有用觀點(diǎn)是按照問(wèn)題類型對(duì)因果信息進(jìn)行分類，每個(gè)類別能夠回答特定的問(wèn)題。該分類形成了一個(gè)三層的層級(jí)結(jié)構(gòu)，只有在獲取第 j 層（j ≥ i）信息時(shí)，第 i 層（i = 1, 2, 3）的問(wèn)題才能夠被解答。

圖 1 展示了該三層層級(jí)結(jié)構(gòu)，以及每一層可回答的典型問(wèn)題。這三層的名字分別是 1. 關(guān)聯(lián)（Association）、2. 干預(yù)（Intervention）、3. 反事實(shí)（Counterfactual）。這些名字是為了凸顯每一層的作用。作者將第一層叫做「關(guān)聯(lián)」是因?yàn)樗鼉H僅調(diào)用統(tǒng)計(jì)關(guān)系，由裸數(shù)據(jù)來(lái)定義。例如，觀察一位購(gòu)買牙膏的顧客使得他／她購(gòu)買牙線的可能性增大；此類關(guān)聯(lián)可以使用條件期望直接從觀測(cè)數(shù)據(jù)中推斷得到。這一層的問(wèn)題不需要因果信息，因此它們可以被放置在該三層層級(jí)架構(gòu)的最底層。第二層「干預(yù)」層次比「關(guān)聯(lián)」高，因?yàn)樗恢簧婕坝^察，還會(huì)改變觀察到的信息。這一層的典型問(wèn)題是：如果我們把價(jià)格提高一倍會(huì)怎樣？此類問(wèn)題無(wú)法僅根據(jù)銷售數(shù)據(jù)來(lái)回答，因?yàn)樗鼈兩婕邦櫩托袨獒槍?duì)新價(jià)格所作出的改變。這些選擇可能與之前的提價(jià)情況中顧客所作出的選擇大相徑庭。（除非我們精確復(fù)制價(jià)格提高一倍時(shí)的已有市場(chǎng)條件。）最后，頂層是「反事實(shí)」，「反事實(shí)」一詞可以追溯到哲學(xué)家 David Hume 和 John Stewart Mill，在過(guò)去二十年中「反事實(shí)」被賦予了和計(jì)算機(jī)有關(guān)的語(yǔ)義。這一層的典型問(wèn)題是「如果我采取不同的做法會(huì)怎樣」，因此需要回溯推理（retrospective reasoning）。

圖 1：因果層級(jí)。只有可獲取第 i 層及以上層級(jí)的信息時(shí)，第 i 層的問(wèn)題才可以被解答。

因果推理的 7 個(gè)工具（或只有使用因果模型才能做到的事情）

考慮以下 5 個(gè)問(wèn)題：

給定的療法在治療某種疾病上的有效性？

是新的稅收優(yōu)惠導(dǎo)致了銷量上升嗎？

每年的醫(yī)療費(fèi)用上升是由于肥胖癥人數(shù)的增多嗎？

招聘記錄可以證明雇主的性別歧視罪嗎？

我應(yīng)該放棄我的工作嗎？

這些問(wèn)題的一般特征是它們關(guān)心的都是原因和效應(yīng)的關(guān)系，可以通過(guò)諸如「治療」、「導(dǎo)致」、「由于」、「證明」和「我應(yīng)該」等詞識(shí)別出這類關(guān)系。這些詞在日常語(yǔ)言中很常見，并且我們的社會(huì)一直都需要這些問(wèn)題的答案。然而，直到最近也沒(méi)有足夠好的科學(xué)方法對(duì)這些問(wèn)題進(jìn)行表達(dá)，更不用說(shuō)回答這些問(wèn)題了。和幾何學(xué)、機(jī)械學(xué)、光學(xué)或概率論的規(guī)律不同，原因和效應(yīng)的規(guī)律曾被認(rèn)為不適合應(yīng)用數(shù)學(xué)方法進(jìn)行分析。

這種誤解有多嚴(yán)重呢？實(shí)際上僅幾十年前科學(xué)家還不能為明顯的事實(shí)「mud does not cause rain」寫下一個(gè)數(shù)學(xué)方程。即使是今天，也只有頂尖的科學(xué)社區(qū)能寫出這樣的方程并形式地區(qū)分「mud causes rain」和「rain causes mud」。

過(guò)去三十年事情已發(fā)生巨大變化。一種強(qiáng)大而透明的數(shù)學(xué)語(yǔ)言已被開發(fā)用于處理因果關(guān)系，伴隨著一套把因果分析轉(zhuǎn)化為數(shù)學(xué)博弈的工具。這些工具允許我們表達(dá)因果問(wèn)題，用圖和代數(shù)形式正式編纂我們現(xiàn)有的知識(shí)，然后利用我們的數(shù)據(jù)來(lái)估計(jì)答案。進(jìn)而，這警告我們當(dāng)現(xiàn)有知識(shí)或可獲得的數(shù)據(jù)不足以回答我們的問(wèn)題時(shí)，暗示額外的知識(shí)或數(shù)據(jù)源以使問(wèn)題變的可回答。

作者把這種轉(zhuǎn)化稱為「因果革命」（Pearl and Mackenzie, 2018, forthcoming），而導(dǎo)致因果革命的數(shù)理框架稱之為「結(jié)構(gòu)性因果模型」（SCM）。

SCM 由三部分構(gòu)成：

1. 圖模型

2. 結(jié)構(gòu)化方程

3. 反事實(shí)和介入式邏輯

圖模型作為表征知識(shí)的語(yǔ)言，反事實(shí)邏輯幫助表達(dá)問(wèn)題，結(jié)構(gòu)化方程以清晰的語(yǔ)義將前兩者關(guān)聯(lián)起來(lái)。

圖 2 描述了 SCM 作為推斷引擎時(shí)的運(yùn)行流程。該引擎接受三種輸入：假設(shè)（Assumptions）、查詢（Queries）和數(shù)據(jù)（Data），并生成三種輸出：被估量（Estimand）、估計(jì)值（Estimate）和擬合指數(shù)（fit indices）。被估量（E_s）是一個(gè)數(shù)學(xué)公式，該公式基于假設(shè)，提供從任意假設(shè)數(shù)據(jù)中回答查詢的方法（可獲取假設(shè)數(shù)據(jù)的情況下）。在接收到數(shù)據(jù)后，該引擎使用被估量來(lái)生成問(wèn)題的實(shí)際估計(jì)值 E_s hat，以及問(wèn)題置信度的統(tǒng)計(jì)估計(jì)值（以反映數(shù)據(jù)集的有限規(guī)模，以及可能的衡量誤差或缺失數(shù)據(jù)）。最后，該引擎生成一個(gè)「擬合指數(shù)」列表，可衡量數(shù)據(jù)與模型傳遞的假設(shè)的兼容性。

圖 2：SCM「推斷引擎」結(jié)合數(shù)據(jù)和因果模型（或假設(shè)），生成查詢的答案。

接下來(lái)介紹 SCM 框架的 7 項(xiàng)最重要的特性，并討論每項(xiàng)特性對(duì)自動(dòng)化推理做出的獨(dú)特貢獻(xiàn)。

1. 編碼因果假設(shè)—透明性和可試性

圖模型可以用緊湊的格式編碼因果假設(shè)，同時(shí)保留透明性和可試性。其透明性使我們可以了解編碼的假設(shè)是否可信（科學(xué)意義上），以及是否有必要添加其它假設(shè)?？稍囆允刮覀儯ㄗ鳛槿祟惢驒C(jī)器）決定編碼的假設(shè)是否與可用的數(shù)據(jù)相容，如果不相容，分辨出需要修改的假設(shè)。利用 d-分離（d-separate）的圖形標(biāo)準(zhǔn)有助于以上過(guò)程的執(zhí)行，d-分離構(gòu)成了原因和概率之間的關(guān)聯(lián)。通過(guò) d-分離可以知道，對(duì)模型中任意給定的路徑模式，哪些依賴關(guān)系的模式才是數(shù)據(jù)中應(yīng)該存在的（Pearl，1988）。

2. do-calculus 和混雜控制

混雜是從數(shù)據(jù)中提取因果推理的主要障礙，通過(guò)利用一種稱為「back-door」的圖形標(biāo)準(zhǔn)可以完全地「解混雜」。特別地，為混雜控制選擇一個(gè)合適的協(xié)變量集合的任務(wù)已被簡(jiǎn)化為一種簡(jiǎn)單的「roadblocks」問(wèn)題，并可用簡(jiǎn)單的算法求解。（Pearl，1993）

為了應(yīng)對(duì)「back-door」標(biāo)準(zhǔn)不適用的情況，人們開發(fā)了一種符號(hào)引擎，稱為 do-calculus，只要條件適宜，它可以預(yù)測(cè)策略干預(yù)的效應(yīng)。每當(dāng)預(yù)測(cè)不能由具體的假設(shè)確定的時(shí)候，會(huì)以失敗退出（Pearl, 1995; Tian and Pearl, 2002; Shpitser and Pearl, 2008）。

3. 反事實(shí)算法

反事實(shí)分析處理的是特定個(gè)體的行為，以確定清晰的特征集合。例如，假定 Joe 的薪水為 Y=y，他上過(guò) X=x 年的大學(xué)，那么 Joe 接受多一年教育的話，他的薪水將會(huì)是多少？

在圖形表示中使用反事實(shí)推理是將因果推理應(yīng)用于編碼科學(xué)知識(shí)的非常有代表性的研究。每一個(gè)結(jié)構(gòu)化方程都決定了每一個(gè)反事實(shí)語(yǔ)句的真值。因此，我們可以解析地確定關(guān)于語(yǔ)句真實(shí)性的概率是不是可以從實(shí)驗(yàn)或觀察研究（或?qū)嶒?yàn)加觀察）中進(jìn)行估計(jì)（Balke and Pearl, 1994; Pearl, 2000, Chapter 7）。

人們?cè)谝蚬撌鲋刑貏e感興趣的是關(guān)注「效應(yīng)的原因」的反事實(shí)問(wèn)題（和「原因的效應(yīng)」相對(duì)）。（Pearl，2015）

4. 調(diào)解分析和直接、間接效應(yīng)的評(píng)估

調(diào)解分析關(guān)心的是將變化從原因傳遞到效應(yīng)的機(jī)制。對(duì)中間機(jī)制的檢測(cè)是生成解釋的基礎(chǔ)，且必須應(yīng)用反事實(shí)邏輯幫助進(jìn)行檢測(cè)。反事實(shí)的圖形表征使我們能定義直接和間接效應(yīng)，并確定這些效應(yīng)可從數(shù)據(jù)或?qū)嶒?yàn)中評(píng)估的條件（Robins and Greenland, 1992; Pearl, 2001; VanderWeele, 2015）

5. 外部效度和樣本選擇偏差

每項(xiàng)實(shí)驗(yàn)研究的有效性都需要考慮實(shí)驗(yàn)和現(xiàn)實(shí)設(shè)置的差異。不能期待在某個(gè)環(huán)境中訓(xùn)練的模型可以在環(huán)境改變的時(shí)候保持高性能，除非變化是局域的、可識(shí)別的。上面討論的 do-calculus 提供了完整的方法論用于克服這種偏差來(lái)源。它可以用于重新調(diào)整學(xué)習(xí)策略、規(guī)避環(huán)境變化，以及控制由非代表性樣本帶來(lái)的偏差（Bareinboim and Pearl, 2016）。

6. 數(shù)據(jù)丟失

數(shù)據(jù)丟失的問(wèn)題困擾著實(shí)驗(yàn)科學(xué)的所有領(lǐng)域?；卮鹫卟粫?huì)在調(diào)查問(wèn)卷上填寫所有的條目，傳感器無(wú)法捕捉環(huán)境中的所有變化，以及病人經(jīng)常不知為何從臨床研究中突然退出。對(duì)于這個(gè)問(wèn)題，大量的文獻(xiàn)致力于統(tǒng)計(jì)分析的黑箱模型范式。使用缺失過(guò)程的因果模型，我們可以形式化從不完整數(shù)據(jù)中恢復(fù)因果和概率的關(guān)系的條件，并且只要條件被滿足，就可以生成對(duì)所需關(guān)系的一致性估計(jì)（Mohan and Pearl, 2017）。

7. 挖掘因果關(guān)系

上述的 d-分離標(biāo)準(zhǔn)使我們能檢測(cè)和列舉給定因果模型的可測(cè)試推斷。這為利用不精確的假設(shè)、和數(shù)據(jù)相容的模型集合進(jìn)行推理提供了可能，并可以對(duì)模型集合進(jìn)行緊湊的表征。人們已在特定的情景中做過(guò)系統(tǒng)化的研究，可以顯著地精簡(jiǎn)緊湊模型的集合，從而可以直接從該集合中評(píng)估因果問(wèn)詢。