近年來，人工智能尤其是在機(jī)器學(xué)習(xí)領(lǐng)域中，取得了非常巨大的成就，看似其未來更加光明。然而這些系統(tǒng)仍舊不夠完美，尤其是被應(yīng)用到一些因?yàn)樾┰S錯(cuò)誤就能夠?qū)е氯嗣鼈騼|萬財(cái)產(chǎn)損失的行業(yè)中時(shí)，這將會(huì)存在巨大的風(fēng)險(xiǎn)。

這需要我們?nèi)藶閷?duì)這些系統(tǒng)進(jìn)行保障，其中包括可驗(yàn)證性、可靠性、魯棒性、可審計(jì)性、可解釋性和無偏性，對(duì)此，斯坦福 AI 實(shí)驗(yàn)室對(duì)近年來關(guān)于 AI 安全、可靠性的研究進(jìn)展進(jìn)行了總結(jié)，并以文章的形式發(fā)布在博客上。

概述

為了能在一些關(guān)鍵應(yīng)用中使用先進(jìn)的 AI 系統(tǒng)，比如：商用飛機(jī)防撞、金融交易或大規(guī)模發(fā)電廠、化工廠控制等應(yīng)用；我們必須保證這些系統(tǒng)具有可驗(yàn)證性（以正確的方式對(duì)一系列輸入進(jìn)行驗(yàn)證）、可靠性（即使是新的未見過的輸入，表現(xiàn)能夠與預(yù)期相符）、魯棒性（在應(yīng)用時(shí)不易受噪音或特定輸入干擾）、可審計(jì)性（當(dāng)做出任何給定的決定時(shí)，可檢查其內(nèi)部狀態(tài)）、可解釋性（有條理的，可以確保產(chǎn)生決策的數(shù)據(jù)、場(chǎng)景和假設(shè)都是能夠被解釋清楚的）以及無偏性（不會(huì)對(duì)某類行為表現(xiàn)出無意識(shí)的偏好）。

毫無疑問，這對(duì) AI 系統(tǒng)提出了一系列極為嚴(yán)苛的要求。不過可喜的是，世界上已經(jīng)有一批來自斯坦福人工智能實(shí)驗(yàn)室和斯坦福研究社區(qū)的優(yōu)秀 AI 研究人員（其中包括 Clark Barrett, David Dill, Chelsea Finn, Mykel Kochenderfer, Anshul Kundaje, Percy Liang, Tengyu Ma, Subhasish Mitra, Marco Pavone, Omer Reingold, Dorsa Sadigh 以及 James Zou）正在努力解決這個(gè)問題。

本文將介紹一些致力于實(shí)現(xiàn)安全可靠的 AI 技術(shù)的研究案例。我們將從中看到新技術(shù)如何理解神經(jīng)網(wǎng)絡(luò)的黑盒子、如何找到和消除偏見，以及如何確保自動(dòng)化系統(tǒng)的安全性。

理解神經(jīng)網(wǎng)絡(luò)的黑盒子：可驗(yàn)證性和可解釋性

雖然神經(jīng)網(wǎng)絡(luò)在近年來 AI 領(lǐng)域取得的成就中發(fā)揮了關(guān)鍵作用，但它們依舊只是有限可解釋性的黑盒函數(shù)近似器。即便是試圖將有限訓(xùn)練數(shù)據(jù)泛化到未見過的輸入，它們?cè)谛〉母蓴_下也可能失敗，更何況這種做法還會(huì)導(dǎo)致難以驗(yàn)證算法的魯棒性。

讓我們看看當(dāng)前研究工作的兩個(gè)案例，它們讓研究者可以檢驗(yàn)神經(jīng)網(wǎng)絡(luò)的內(nèi)部運(yùn)作。第一個(gè)是關(guān)于可驗(yàn)證性，第二個(gè)則是關(guān)于可解釋性。

深度神經(jīng)網(wǎng)絡(luò)的可驗(yàn)證性

我們希望確保神經(jīng)網(wǎng)絡(luò)能夠適用于所有可能的情況，但可驗(yàn)證性在實(shí)驗(yàn)方面超出了現(xiàn)有工具力所能及的范圍。目前，專用工具只能處理非常小的網(wǎng)絡(luò)，例如具有 10-20 個(gè)隱藏節(jié)點(diǎn)的單個(gè)隱藏層。Katz 等人在論文「Reluplex: An efficient SMT solver for verifying deep neural networks」（論文地址：https://arxiv.org/abs/1702.01135）中提出了 Reluplex，一種用于神經(jīng)網(wǎng)絡(luò)錯(cuò)誤檢測(cè)的新算法。Reluplex 將線性編程技術(shù)與 SMT（可滿足性模塊理論）求解技術(shù)相結(jié)合，其中神經(jīng)網(wǎng)絡(luò)被編碼為線性算術(shù)約束。核心觀點(diǎn)就是避免數(shù)學(xué)邏輯永遠(yuǎn)不會(huì)發(fā)生的測(cè)試路徑，這允許測(cè)試比以前更大的數(shù)量級(jí)的神經(jīng)網(wǎng)絡(luò)，例如，每個(gè)具有 8 層和 300 個(gè)節(jié)點(diǎn)的全連接神經(jīng)網(wǎng)絡(luò)。

Reluplex 可以在一系列輸入上證明神經(jīng)網(wǎng)絡(luò)的屬性。它可以測(cè)量對(duì)抗魯棒性，換言之，即測(cè)量可以產(chǎn)生虛假結(jié)果的最小或閾值對(duì)抗性信號(hào)。見 Raghunathan 等人的《針對(duì)對(duì)抗性實(shí)例的認(rèn)證防御》（https://openreview.net/pdf?id=Bys4ob-Rb），這是另一個(gè)評(píng)估對(duì)抗魯棒性的案例。

Reluplex 案例研究：無人機(jī)防撞

Reluplex 曾被用來測(cè)試 ACAS Xu （https://arxiv.org/abs/1810.04240）早期原型的神經(jīng)網(wǎng)絡(luò)，是一種用于無人機(jī)的機(jī)載防撞系統(tǒng)。如圖所示，該系統(tǒng)考慮了兩架無人機(jī)：一架是由 ACAS Xu 軟件控制的你自己的無人機(jī)「Ownship」，另一架是我們進(jìn)行觀察的無人機(jī)「Intruder」。其目標(biāo)是引導(dǎo)「Ownship」避免與「Intruder」發(fā)生碰撞。

在第一種情況下，要求研究人員展示，如果「Intruder」從左側(cè)接近，那么系統(tǒng)將建議「Ownship」向右急轉(zhuǎn)彎。研究人員使用一定的計(jì)算資源在 1.5 小時(shí)內(nèi)證明了該網(wǎng)絡(luò)在每種情況下都能正常運(yùn)行。另一個(gè)更為復(fù)雜的情況是 「Intruder」 和 「Ownship」 處于不同海拔高度的情況，此外 「Ownship」 在這之前還接收到了關(guān)于緩慢左轉(zhuǎn)的建議。這說明了在這種系統(tǒng)中可能出現(xiàn)的復(fù)雜性。在這種情況下，網(wǎng)絡(luò)應(yīng)該建議 COC（沒有沖突，即保持當(dāng)前路線）或緩慢左轉(zhuǎn)。研究人員使用適度的計(jì)算資源在 11 個(gè)小時(shí)內(nèi)找到了一個(gè)反例，后來又在不同的網(wǎng)絡(luò)中糾正了該反例。

理解模型預(yù)測(cè)

我們能解釋為什么神經(jīng)網(wǎng)絡(luò)會(huì)做出具體的預(yù)測(cè)嗎？這是 Koh 和 Liang 在論文「 Understanding black-box predictions via influence functions」（https://arxiv.org/pdf/1703.04730.pdf）中提出的問題。當(dāng)深度學(xué)習(xí)模型用于決定獲得金融貸款或健康保險(xiǎn)的對(duì)象以及一些其他應(yīng)用程序時(shí)，這一點(diǎn)非常重要。當(dāng)人工智能系統(tǒng)易于理解時(shí)，他們可能會(huì)做出更好的決策，從而改進(jìn)模型的開發(fā)，得出更重大的發(fā)現(xiàn)，深化我們對(duì) AI 的信任，以及實(shí)現(xiàn)更好的發(fā)展。因此，研究人員的方法是對(duì)給定預(yù)測(cè)結(jié)果最相關(guān)訓(xùn)練節(jié)點(diǎn)的確定。他們的關(guān)鍵點(diǎn)是使用「影響函數(shù)」，通過數(shù)學(xué)來回答這個(gè)問題：「如果我們沒有訓(xùn)練節(jié)點(diǎn)，模型的預(yù)測(cè)會(huì)如何變化？」

在上圖中，如果這只白狗的像素點(diǎn)正是使得該神經(jīng)網(wǎng)絡(luò)將其識(shí)別為狗，那么系統(tǒng)就非常合理。換句話說，如果海浪的像素點(diǎn)被識(shí)別輸出為「狗」，則該系統(tǒng)易錯(cuò)率就很高 ——僅具有海浪的其他圖像可能被錯(cuò)誤地歸類為「狗」。通過正確識(shí)別白狗的像素影響比海浪像素更高，我們的系統(tǒng)在處理噪聲時(shí)就會(huì)表現(xiàn)得更可靠。

尋找和消除偏差

人工智能系統(tǒng)反映出社會(huì)偏差一點(diǎn)都不讓人驚訝。Zou 和 Schiebinger 在論文「Design AI so that it’s fair 」（https://www.nature.com/articles/d41586-018-05707-8）中指出偏差可能有兩個(gè)來源，即訓(xùn)練數(shù)據(jù)和算法。訓(xùn)練數(shù)據(jù)中的偏差可能是由于某些群體在數(shù)據(jù)庫中占比過高或過低，解決方案是調(diào)查如何策劃訓(xùn)練數(shù)據(jù)。而算法可以放大偏差，因?yàn)榈湫偷臋C(jī)器學(xué)習(xí)程序是試圖最大化整個(gè)訓(xùn)練數(shù)據(jù)的整體預(yù)測(cè)精度，因此解決方案是研究偏差的傳播和放大方式。

幾何捕獲語義

Bolukbasi 等人在論文「Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings」（https://arxiv.org/pdf/1607.06520.pdf）中，使用單詞配對(duì)來檢查偏差。例如，考慮這個(gè)問題，男人對(duì)應(yīng)王，那么女人對(duì)應(yīng)什么？任何五歲的孩子都可以回答這個(gè)問題，男人是王，那么女人就是女王。研究人員使用 Google 新聞?wù)Z料庫的 Word2Vec 模型回答了單詞配對(duì)問題。每個(gè)單詞都映射到高維空間中的一個(gè)點(diǎn)。單詞之間的關(guān)系由連接這些單詞的向量表示。

單詞嵌入高維空間的二維投影，其中連接女人與女王的向量

與連接男人與王的向量的長度和方向相同

谷歌新聞?wù)Z料庫很龐大，其中許多文章的作者都是專業(yè)記者，因此我們理想的期望是使用這些數(shù)據(jù)訓(xùn)練的模型沒有偏差。然而經(jīng)過片刻的反思，我們意識(shí)到這個(gè)模型可能會(huì)反映社會(huì)的偏差，因?yàn)樗吘故菍?duì)我們社會(huì)產(chǎn)生的數(shù)據(jù)進(jìn)行的訓(xùn)練，這正是我們接下來討論的。

讓我們來看看另一個(gè)詞配對(duì)：「他」對(duì)應(yīng)的是「兄弟」，那「她」對(duì)應(yīng)著的是什么？同樣，任何五歲的孩子都可以回答說「他」對(duì)應(yīng)「兄弟」，那么「她」對(duì)應(yīng)「姐妹」。我們有一個(gè)良好的開端，但正如你在下圖中看到的那樣，事情開始急速轉(zhuǎn)折。一些單詞配對(duì)表現(xiàn)出偏差（「他」對(duì)應(yīng)的是「醫(yī)生」，那「她」則對(duì)應(yīng)「護(hù)士」；「他」對(duì)應(yīng)的是「計(jì)算機(jī)程序員」，那「她」則對(duì)應(yīng)「家庭主婦」），另外有一些更是奇怪得徹頭徹尾（「她」對(duì)應(yīng)著「懷孕」，而「他」竟然對(duì)應(yīng)著「腎結(jié)石」）。

研究人員發(fā)現(xiàn)，通過消除性別刻板印象，例如接待員和女性之間的聯(lián)系，同時(shí)保留所期望的聯(lián)系，比如女王和女性之間的關(guān)聯(lián)，可以減少性別偏差。為了做到這一點(diǎn)，他們根據(jù)定義區(qū)分了與性別相關(guān)的性別特定詞，如兄弟，姐妹，商人和女商人，以及其余的性別中性詞。在幾何學(xué)上，他們確定了兩個(gè)正交維度，即性別特定詞與性別中性詞間的差別。他們的消除偏差算法通過折疊性別中立的方向去除性別中性詞和性別的關(guān)聯(lián)。谷歌，推特，臉書，微軟和其他公司都在使用這種消除方式。

在沒有人群統(tǒng)計(jì)的情況下實(shí)現(xiàn)公平

Hashimoto 等人在論文「Fairness without demographics in repeated loss minimization」（https://arxiv.org/pdf/1806.08010.pdf）中想搞清楚是否即使我們沒有人群統(tǒng)計(jì)信息也有可能開發(fā)公平的系統(tǒng)。其主要問題是少數(shù)群體在最小化平均訓(xùn)練損失方面的代表性較低。由于成本或隱私原因，分組標(biāo)簽可能不可用，或者受保護(hù)的群體可能無法被識(shí)別或被知道。當(dāng)前的方法，即經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，會(huì)隨著時(shí)間的推移進(jìn)一步縮小輸入數(shù)據(jù)中的少數(shù)群體，而使問題變得更糟。這些研究人員的目標(biāo)是即使在沒有人口統(tǒng)計(jì)標(biāo)簽的情況下，保護(hù)所有群體，甚至是少數(shù)群體。所以他們的解決方案是一種基于「分布式穩(wěn)健優(yōu)化」的方法，可以最大限度地減少所有群體的損失。

分布式穩(wěn)健優(yōu)化的目的是控制所有組的最壞情況風(fēng)險(xiǎn)。直觀地說，這種方法是加大高損失樣本的比重。相對(duì)于整個(gè)樣本而言，加大高損失的樣本比重能對(duì)具有較少高損失樣本的模型做相應(yīng)的調(diào)整，使得某些分組就不再有不成比例的高誤差了。即少數(shù)群體相關(guān)的數(shù)據(jù)點(diǎn)將默認(rèn)為遭受高損失的數(shù)據(jù)點(diǎn)，因此這種方法可以幫助避免這種情況。

確保安全的自治系統(tǒng)

機(jī)器人，無人機(jī)和自動(dòng)駕駛車輛需要算法來進(jìn)行安全學(xué)習(xí)、規(guī)劃和操控。當(dāng)系統(tǒng)探索周圍環(huán)境時(shí)，他們必須處理它們的行為所造成的結(jié)果、動(dòng)態(tài)環(huán)境和未知人類交互所存在的不確定性。在以下兩個(gè)例子中，研究人員將自主機(jī)器人和人類建模為一個(gè)系統(tǒng)。

人機(jī)交互的數(shù)據(jù)驅(qū)動(dòng)概率建模

Marco Pavone 教授的研究（論文：「Multimodal Probabilistic Model-Based Planning for Human-Robot Interaction」，https://arxiv.org/pdf/1710.09483.pdf），旨在開發(fā)一個(gè)決策和控制堆棧，用于在有多種不同行動(dòng)方案的環(huán)境中進(jìn)行安全的人機(jī)交互。在這案例中，研究人員考慮在進(jìn)出高速公路的匝道上進(jìn)行交織區(qū)交通流測(cè)試。他們的方法是首先從車輛交互樣本的數(shù)據(jù)集中學(xué)習(xí)未來人類行為的多模態(tài)概率分布，然后通過從人類對(duì)指定機(jī)器人動(dòng)作序列的回應(yīng)中進(jìn)行大規(guī)模并行采樣來構(gòu)建實(shí)時(shí)的機(jī)器人策略。該框架不對(duì)人類動(dòng)機(jī)做出任何假設(shè)，這使得它可以對(duì)各種人類駕駛行為進(jìn)行建模。

值得注意的是，該模型包括高級(jí)別隨機(jī)決策和低級(jí)別安全保護(hù)控制?？紤]到人類有時(shí)可能會(huì)無視機(jī)器人預(yù)測(cè)，該框架增加了一個(gè)低級(jí)別的跟蹤控制器，當(dāng)安全受到威脅時(shí)，該控制器將隨機(jī)規(guī)劃者所需軌跡轉(zhuǎn)化為安全保護(hù)控制模式。

安全學(xué)習(xí)人的內(nèi)在狀態(tài)

Dorsa Sadigh （相關(guān)工作論文：「Planning for cars that coordinate with people: leveraging effects on human actions for planning and active information gathering over human internal state」，http://iliad.stanford.edu/pdfs/publications/sadigh2018planning.pdf）和 Mykel Kochenderfer 正在研究通過訓(xùn)練自動(dòng)駕駛汽車來了解人類駕駛員的內(nèi)在狀態(tài)。他們將自主車輛和人類之間的相互作用建模為動(dòng)力系統(tǒng)來實(shí)現(xiàn)這一點(diǎn)。當(dāng)然，這項(xiàng)研究中，自動(dòng)駕駛汽車的動(dòng)作采用直接控制的方式，但這些動(dòng)作會(huì)影響人類的行為，因此也可以間接控制人類的行為。

想象一下，你正試圖在擁擠的高速公路上變道。在觀察其他駕駛員的反應(yīng)時(shí)，你可能會(huì)從當(dāng)前車道緩慢進(jìn)入新車道。如果另一個(gè)駕駛員減速并打開一個(gè)間隙，那么你繼續(xù)換道，但如果另一個(gè)駕駛員加速并阻擋你，那么你將返回你的車道并稍后再試。曾經(jīng)常用的方法大體是通過讓機(jī)器人最大化其自身獎(jiǎng)勵(lì)函數(shù)，但現(xiàn)在這個(gè)獎(jiǎng)勵(lì)函數(shù)可以直接取決于人類做出的響應(yīng)。由于司機(jī)對(duì)其他司機(jī)的行為做出回應(yīng)，我們有機(jī)會(huì)進(jìn)行積極的信息收集。

未來

在不久的將來，我們將享受安全可靠的人工智能系統(tǒng)，這些系統(tǒng)具有可驗(yàn)證性、可審計(jì)性、可解釋性、無偏差性和魯棒性。正如斯坦福大學(xué)人工智能實(shí)驗(yàn)室以及其他實(shí)驗(yàn)室的研究正在提供創(chuàng)新的技術(shù)解決方案，使得這些美好的期愿成為可能。

但光靠技術(shù)解決方案還不夠，成功還需要對(duì)這些解決方案謹(jǐn)慎的實(shí)施，并引入社會(huì)意識(shí)，以確定我們希望在這些系統(tǒng)中加入哪些參數(shù)。最近，我們看到以人為本的人工智能方法的興起，考慮了人為因素和社會(huì)影響，這讓我們看到：即使對(duì)于文化迥異的用戶和各種意外情況，這些方法都將賦予人工智能系統(tǒng)以安全、可靠和合理的工作方式！