提高機(jī)器學(xué)習(xí)模型的可解釋性和透明度，將有助于模型的除錯(cuò)、引導(dǎo)未來的數(shù)據(jù)收集方向、為特征構(gòu)建和人類決策提供真正可靠的信息，最終在人與模型之間建立信任。

過去幾年來，人工智能研究人員在圖像識(shí)別、自然語(yǔ)言理解和棋類等領(lǐng)域取得了重大突破。但由于缺乏對(duì)復(fù)雜機(jī)器學(xué)習(xí)模型的真正理解，導(dǎo)致模型在傳播時(shí)出現(xiàn)了偏見，這種偏見在零售、面部識(shí)別和語(yǔ)言理解等領(lǐng)域的應(yīng)用中出現(xiàn)了多次。

說到底，機(jī)器學(xué)習(xí)模型大多數(shù)時(shí)候仍然是“黑盒子”，很多時(shí)候可以拿來用，但具體原理并不十分清楚，即缺乏足夠的“可解釋性”。

什么是模型的”可解釋性“？不同人群定義不一樣

所謂模型的可解釋性，是指人類能夠在何種程度上一致地估計(jì)、理解并遵循模型的預(yù)測(cè)，以及在模型出錯(cuò)時(shí)，在何種程度上能夠成功檢測(cè)到。

可解釋性對(duì)不同的人群有著不同的含義：

對(duì)于數(shù)據(jù)科學(xué)家來說，意味著更好地理解模型，掌握模型性能好壞情況以及原因。這些信息有助于數(shù)據(jù)科學(xué)家構(gòu)建性能更強(qiáng)大的模型。

對(duì)于業(yè)務(wù)利益相關(guān)者而言，模型具備可解釋性有助于深入了解為什么人工智能系統(tǒng)做出特定決定以確保公平性，維護(hù)用戶和品牌。

對(duì)于用戶來說，這意味著要理解模型做出決策的原因，并在模型出錯(cuò)時(shí)允許進(jìn)行有意義的挑戰(zhàn)。

對(duì)于專家或監(jiān)管機(jī)構(gòu)來說，它意味著審核AI系統(tǒng)并遵循決策流程，尤其是在系統(tǒng)出現(xiàn)問題時(shí)。

微軟的團(tuán)隊(duì)數(shù)據(jù)科學(xué)流程（TDSP），其中一個(gè)重要環(huán)節(jié)就是對(duì)模型的理解

機(jī)器學(xué)習(xí)模型的可解釋性可以展示模型正在學(xué)習(xí)什么內(nèi)容，而洞悉模型的內(nèi)部，要比大多數(shù)人預(yù)想的更加有用。

在過去的10年里，我采訪了許多數(shù)據(jù)科學(xué)家，其中模型可解釋性技術(shù)是我最喜歡的主題，在這一問題上，甚至可以將最優(yōu)秀的數(shù)據(jù)科學(xué)家與普通科學(xué)家區(qū)分開來。

有些人認(rèn)為機(jī)器學(xué)習(xí)模型是黑盒子，可以做出預(yù)測(cè)，但卻無法理解。但最好的數(shù)據(jù)科學(xué)家知道如何從任何模型中提取出關(guān)于真實(shí)世界的見解。對(duì)于任何給定的模型，優(yōu)秀的數(shù)據(jù)科學(xué)家可以輕松回答類似下面的問題：

模型認(rèn)為哪些特征最重要？

對(duì)于來自模型的任何預(yù)測(cè)來說，數(shù)據(jù)的每個(gè)特征會(huì)對(duì)預(yù)測(cè)結(jié)果產(chǎn)生哪些影響？

不同特征之間的哪些相互作用對(duì)模型的預(yù)測(cè)結(jié)果影響最大？

回答這些問題比許多人意識(shí)到的更為廣泛。無論你是從Kaggle學(xué)習(xí)技術(shù)還是從統(tǒng)計(jì)學(xué)習(xí)元素這樣的綜合資源中學(xué)習(xí)，這些技術(shù)都將徹底改變構(gòu)建，驗(yàn)證和部署機(jī)器學(xué)習(xí)模型的方式。

提高模型可解釋性有什么用？

關(guān)于模型的可解釋性技術(shù)，以下是五個(gè)最重要的應(yīng)用方式：

調(diào)試

為模型特征構(gòu)建提供信息

指導(dǎo)未來的數(shù)據(jù)收集方向

為人類決策提供建議

在人與模型間建立信任

調(diào)試

世界上存在很多可靠性不高，雜亂無章、數(shù)量眾多的數(shù)據(jù)。在編寫預(yù)處理代碼時(shí)，這些數(shù)據(jù)可能會(huì)成為潛在的錯(cuò)誤源頭，增加目標(biāo)泄漏的可能性，在實(shí)際數(shù)據(jù)科學(xué)項(xiàng)目中的某些時(shí)候出現(xiàn)錯(cuò)誤可以說是一種常態(tài)，而不是例外。

由于錯(cuò)誤出現(xiàn)的頻率和潛在的災(zāi)難性后果，除錯(cuò)是數(shù)據(jù)科學(xué)中最有價(jià)值的技能之一。了解模型發(fā)現(xiàn)的模式將幫助你確定，模型對(duì)現(xiàn)實(shí)世界的理解與你自己的觀點(diǎn)出現(xiàn)了不一致，而這通常是查找錯(cuò)誤的第一步。

為模型的特征構(gòu)建提供信息

特征構(gòu)建通常是提高模型精度的最有效的方法。這個(gè)過程通常涉及使用原始數(shù)據(jù)或先前創(chuàng)建的特征的轉(zhuǎn)換重復(fù)創(chuàng)建新特征。

有時(shí)你可以只憑借關(guān)于底層主題的直覺來完成這個(gè)過程。但是，當(dāng)模型有100個(gè)原始特征或缺乏有關(guān)您正在處理的主題的背景知識(shí)時(shí)，就需要更多指引了。這時(shí)候，如果模型仍是黑盒子，不可解釋的，完成這一過程可能會(huì)非常困難，甚至是不可能的。

未來，隨著越來越多的數(shù)據(jù)集的原始特征數(shù)量達(dá)到成百上千的級(jí)別，這種方式無疑會(huì)變得越來越重要。

指導(dǎo)未來的數(shù)據(jù)收集方向

對(duì)于從網(wǎng)上下載的數(shù)據(jù)集，你并沒有控制能力。但是，許多利用數(shù)據(jù)科學(xué)的企業(yè)和組織都有機(jī)會(huì)擴(kuò)展其收集的數(shù)據(jù)類型。收集新類型的數(shù)據(jù)可能成本高昂，又不方便，因此只有在知道某類數(shù)據(jù)值得收集，他們才會(huì)去這樣做。

如果模型是可解釋的，就可以很好地理解當(dāng)前特征的價(jià)值，進(jìn)而更有可能推斷出哪些新型數(shù)據(jù)是最有用的，從而指導(dǎo)未來數(shù)據(jù)的收集方向。

為人類決策提供建議

有些決策行為是由模型自動(dòng)完成的。比如，當(dāng)你訪問亞馬遜的網(wǎng)站時(shí)，你所看到的網(wǎng)頁(yè)內(nèi)容并不是由真人匆忙決定的。不過，確實(shí)許多重要的決定都是由人做出的。對(duì)于這些決策，觀點(diǎn)洞察可能比預(yù)測(cè)結(jié)果更有價(jià)值。

在人與模型間建立信任

在沒有驗(yàn)證一些基本事實(shí)的情況下，許多人認(rèn)為他們無法信任模型來進(jìn)行重要決策?？紤]到數(shù)據(jù)出現(xiàn)錯(cuò)誤的幾率，這是一個(gè)明智的預(yù)防措施。

在實(shí)際應(yīng)用中，如果模型顯示的結(jié)果符合他們對(duì)問題的一般見解，將有助于在人與模型間建立一種信任，即使對(duì)數(shù)據(jù)科學(xué)知之甚少的人而言也是如此。

不過，在Adrian Weller的一篇有趣的論文中，提出AI透明度應(yīng)該是實(shí)現(xiàn)目標(biāo)的手段，而不是目標(biāo)本身。Weller認(rèn)為，更高的模型透明度可能產(chǎn)生對(duì)所有人不利的結(jié)果，并可能使AI被惡意者濫用。

毫無疑問，AI系統(tǒng)必須足夠安全，并且能夠防范對(duì)抗性攻擊，這樣，討論模型的可解釋性和透明度才是有積極意義的。