見識(shí)過刀劍與毒藥

癡迷于火藥和武器

與他人說話時(shí)常懷著恐懼

在每一處景象里看到了災(zāi)禍

每一次時(shí)鐘響起，都會(huì)戰(zhàn)栗不安

但卻未厭惡那不可抗拒的壓迫

——波德萊爾《惡之花》

不能偏廢的用與防，是人類在馴服技術(shù)這頭猛獸時(shí)永恒的主題。于是我們有了無比復(fù)雜的電力保護(hù)系統(tǒng)，有了交通規(guī)則與無數(shù)交通安全設(shè)備，有了宏大的互聯(lián)網(wǎng)安全產(chǎn)業(yè)。

我們不會(huì)因?yàn)殚W電的猙獰與觸電的危險(xiǎn)，就決定給城市斷電，而是要去一層層限制它，保護(hù)它，讓技術(shù)安全地為人類服務(wù)。

這樣的邏輯，今天正在AI面前重新上演。大概就像人類第一次面對(duì)火焰時(shí)的恐慌一樣，一百多年的科幻文化，讓大眾在面對(duì)AI時(shí)，首先想起的是機(jī)器人統(tǒng)治地球的恐懼。其實(shí)這事兒就像行星撞地球一樣，是個(gè)確實(shí)可能發(fā)生但誰也不知道多久后才能發(fā)生的狀況。

然而隨著AI的發(fā)展與應(yīng)用，這門新技術(shù)所暴露出來的危險(xiǎn)與不確定性確實(shí)也漸漸浮出水面。那么針對(duì)AI的“絕緣膠布”和“空氣開關(guān)”在哪呢？

不久之前，Deepmind在博客中透露了這樣一個(gè)消息，針對(duì)AI模型可能表現(xiàn)出的混亂和失控，他們準(zhǔn)備研發(fā)一種“AI保險(xiǎn)機(jī)制”，在緊要關(guān)頭給AI“斷電”。一旦發(fā)現(xiàn)AI的惡意傾向，就主動(dòng)終止AI的活動(dòng)。

目前這個(gè)領(lǐng)域的研究，更多還是處在方向性的探索上。但是還是有一些問題需要我們來探索：假如真的有AI保險(xiǎn)電閘這種裝置，它要在哪些情況下終止AI工作？類似領(lǐng)域還有哪些方法在嘗試保證AI安全？給AI裝上安全鎖這種想法，又有哪些困難，甚至不靠譜的地方？

要防范的，是哪些“AI之惡”？

首先，還是要堅(jiān)定地給“AI之惡”打上引號(hào)。這就像火的使用，大概是人類歷史上造成損失最嚴(yán)重的一種技術(shù)應(yīng)用，但至少今天沒有人討論“火之惡”或者“普羅米修斯的原罪”。

而AI有點(diǎn)不同的是，深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜性構(gòu)成了AI運(yùn)行邏輯在某些環(huán)境下的不可解，也就是廣受關(guān)注的AI黑箱問題。美國(guó)小說家霍華德·洛夫克拉夫特堅(jiān)定的認(rèn)為，人類最大的恐懼，就是對(duì)未知的恐懼。

而深度學(xué)習(xí)作為今天AI技術(shù)的主要實(shí)踐方式，確實(shí)還蒙有太多面紗。姚期智院士就曾判斷，今天深度學(xué)習(xí)中有很多東西是非科學(xué)的。對(duì)其神秘性的破解，已經(jīng)成為AI學(xué)科的主要問題。

那么依舊神秘的AI，在應(yīng)用中帶來了哪些危險(xiǎn)可能性呢？

關(guān)于AI的負(fù)面報(bào)道雖然遠(yuǎn)低于正面案例數(shù)量，但其實(shí)數(shù)量也已經(jīng)不少。歸結(jié)起來，有三個(gè)方面的危險(xiǎn)，是我們今天主要需要面對(duì)的：

一、從數(shù)據(jù)到歧視

AI是能學(xué)會(huì)罵人和種族歧視的，這事兒想必大家都知道。最出名的案例，就是2016年3月，微軟上線了名為Tay 的聊天機(jī)器人，但是上線不到一天，Tay 就從一個(gè)單純可愛的19歲女孩變成了一個(gè)滿口臟話與種族歧視言論的“AI瘋子”，于是微軟緊急下架了這款產(chǎn)品。這種情況，已經(jīng)在多個(gè)AI聊天應(yīng)用與語音助手中顯現(xiàn)了出來，甚至很多導(dǎo)購(gòu)、安全識(shí)別類的AI應(yīng)用，也都悄然學(xué)會(huì)了看人下菜碟的本來。

其本質(zhì)問題在于，AI會(huì)去學(xué)習(xí)吸收社交網(wǎng)絡(luò)上的對(duì)話數(shù)據(jù)，然而一頓操作下來，學(xué)到的都是不堪入目的東西。深度學(xué)習(xí)是建立在大數(shù)據(jù)基礎(chǔ)上的，但如果數(shù)據(jù)中夾雜了不那么美好的數(shù)據(jù)，AI就可能將這些內(nèi)容帶入為行為模式。

但是如何分辨什么才是好內(nèi)容呢？這個(gè)模棱兩可的問題依舊沒什么好的答案。

二、作為武器與黑產(chǎn)工具的AI

人不止可以教壞AI，還可以直接運(yùn)用AI作惡。這個(gè)領(lǐng)域的案例屢見不鮮，英國(guó)在2015年就開始發(fā)現(xiàn)利用AI模型模仿用戶語氣來進(jìn)行的郵件與電信詐騙；很多黑客展現(xiàn)了利用AI來盜取密碼和破解安全鎖的能力；甚至在國(guó)內(nèi)，很多不法分子已經(jīng)開始使用AI識(shí)別技術(shù)來刷電商賬戶和訂單，從而支撐黑產(chǎn)的運(yùn)行。

三、不靠譜的機(jī)器直覺

AI作為一種算法，顯然是不以人的常識(shí)為常識(shí)的，但是很多時(shí)候無論普通人還是科研人員都會(huì)忽視這一點(diǎn)。著名的案例是Deepmind在一個(gè)賽艇游戲中訓(xùn)練AI時(shí)，發(fā)現(xiàn)深度學(xué)習(xí)模型最終得出的結(jié)論不是一般人類玩家選擇的路線，而是在游戲中瘋狂轉(zhuǎn)圈。雖然是個(gè)游戲，但卻發(fā)人深醒，比如AI在無人駕駛場(chǎng)景里，或許是不按照人類交通規(guī)則來思考問題的，它可能直接從高架橋上飛下去，或者選擇逆行來獲得更好的通過效率。

這也不是危言聳聽，今天的研究已經(jīng)發(fā)現(xiàn)，在路牌上做一點(diǎn)點(diǎn)手腳，就可能對(duì)計(jì)算機(jī)視覺產(chǎn)生干擾。畢竟機(jī)器即使能看，也不是人類的“看法”。

顯然，這些問題在未來的AI應(yīng)用中都足夠復(fù)雜與危險(xiǎn)。那么問題來了之后，解決方案有哪些呢？

檢察官、行刑者與道德家：我們用什么給AI上鎖？

AI本身的失控可能與安全隱患，或許是不同于人類歷史上任何技術(shù)風(fēng)險(xiǎn)的。它吸納大量數(shù)據(jù)，又進(jìn)行了復(fù)雜的內(nèi)部轉(zhuǎn)換，所以留給人類的困難之處在于，它不是像汽油或電力那樣具有簡(jiǎn)單的安全規(guī)律，而是難以捉摸的隱秘bug。

我們經(jīng)常聽AI開發(fā)者講述這樣一個(gè)情況：模型跑了一遍，OK挺好的，再跑一遍，出問題了，哪出的問題，不知道……再多來兩遍，好像又好了？

顯然在工業(yè)這樣的關(guān)鍵生產(chǎn)領(lǐng)域，部署這樣天馬行空的員工是不合適的。那么如何給AI裝上安全保險(xiǎn)裝置呢？可以看到今天業(yè)界有這樣幾種思路。需要注意的是，這不是涇渭分明的流派之爭(zhēng)，真正在實(shí)踐AI安全的時(shí)候，是需要綜合解決方案共同努力的。

一、行刑者

話題回到我們最開始提到的DeepMind。他們正在研發(fā)的AI安全技術(shù)，形象一點(diǎn)形容就是在復(fù)雜AI任務(wù)的背后，站立一位隨時(shí)待命的“AI行刑者”。通過再研發(fā)一個(gè)功能強(qiáng)悍，有一套自身安全邏輯的AI系統(tǒng)，基于強(qiáng)化學(xué)習(xí)機(jī)制，來隨時(shí)監(jiān)控其他AI模型的工作。一旦有出格舉動(dòng)，立馬跳閘斷電。

事實(shí)上，“可中斷”概念一直都是DeepMind在AI安全領(lǐng)域的核心理念。去年12月，他們就發(fā)布了名為《安全可中斷智能體》的研究成果，展示了如何保證在中斷再啟動(dòng)的環(huán)境下，智能體的運(yùn)行效果不會(huì)受損。

讓AI去監(jiān)視AI，雖然技術(shù)上非常前沿，也留有若干問題，但大概是未來AI安全鎖的主要研究方向，因?yàn)槊鎸?duì)越來越復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)，其他問題追溯模式可能會(huì)消耗難以承擔(dān)的人工成本。

然而這種新技術(shù)帶來的首要疑惑，顯然是“誰來監(jiān)督監(jiān)督者”？

二、檢察官

無論是歧視還是錯(cuò)誤的機(jī)器直覺，在本質(zhì)上都可歸因于深度學(xué)習(xí)的黑箱性。那么是不是有方法可以去透視黑箱，讓人類研發(fā)者找到問題AI的出錯(cuò)點(diǎn)，從而去修正而不是魯莽地中斷它呢？

事實(shí)上，解決黑箱才是AI安全領(lǐng)域與應(yīng)用場(chǎng)景的主要努力方向。我們今天已經(jīng)可以看到越來越多的黑箱解釋工具出現(xiàn)在科研甚至產(chǎn)業(yè)領(lǐng)域。

今天解釋黑箱的主要方式有兩種，一種是用AI來檢索AI，比如利用注意力機(jī)制，訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)模型專門去復(fù)制追蹤其他AI模型的運(yùn)行軌跡，從而找出錯(cuò)誤訓(xùn)練結(jié)果的訓(xùn)練來源，幫助研發(fā)者進(jìn)行修正。

另一個(gè)思路是通過一些工具，達(dá)成深度學(xué)習(xí)模型的結(jié)構(gòu)可視化，也就是說讓黑箱變成玻璃箱。從而當(dāng)AI出錯(cuò)，研發(fā)人員可以相對(duì)簡(jiǎn)單的自行查詢每一層的訓(xùn)練過程，找到問題所在。

然而無論是AI檢察官，還是人類檢察官，今天這些黑箱可解釋性技術(shù)普遍都只能應(yīng)對(duì)不那么復(fù)雜的深度學(xué)習(xí)模型。而且普遍需要大量人工來參與其中，又把人工智能變成了“人工＋智能”，而且所耗費(fèi)的人力必須具備相當(dāng)?shù)募夹g(shù)水準(zhǔn)。

三、道德家

無論從何種方向上看，阻止AI作惡在今天都不僅僅是一個(gè)技術(shù)問題。比如訓(xùn)練數(shù)據(jù)的三觀夠不夠正，很多程度取決于開發(fā)者的三觀；再比如能否克制對(duì)開發(fā)AI武器、AI監(jiān)視工具的渴望，應(yīng)該是一個(gè)社會(huì)與國(guó)際責(zé)任的問題；而很多AI歧視問題，出自于背后開發(fā)者希望提高商業(yè)效率的目的，這也是個(gè)道德問題。

為了預(yù)防這些問題泛濫，AI的安全鎖顯然不僅應(yīng)該是一把技術(shù)之鎖，而應(yīng)該引入廣泛的社會(huì)機(jī)制。今年2月，OpenAI、牛津大學(xué)、劍橋大學(xué)等14家機(jī)構(gòu)和高校發(fā)布了一份名為《人工智能惡意使用》的研究報(bào)告。報(bào)告指出，應(yīng)該承認(rèn)今天人工智能的研究成果是一把雙刃劍。而為了控制人工智能帶來的風(fēng)險(xiǎn)，政策制定者應(yīng)該與技術(shù)人員密切合作，調(diào)查、預(yù)防和緩解人工智能可能的惡意使用方式。并且應(yīng)該在人工智能領(lǐng)域優(yōu)先形成規(guī)范和道德框架；討論這些人工智能挑戰(zhàn)時(shí)所涵蓋的利益相關(guān)者和專家范圍應(yīng)該擴(kuò)大。

防止AI的惡意問題，應(yīng)該從技術(shù)、法律、道德、研究習(xí)慣等領(lǐng)域進(jìn)行綜合防治，這已經(jīng)成為了一個(gè)國(guó)際社會(huì)共識(shí)。但是顯然這把鎖看上去最簡(jiǎn)單，實(shí)際鑄造起來的難度高到無法想象。

無論是“斷電”、大檢查還是社會(huì)共同監(jiān)督，這些AI安全鎖的背后，都隱藏著在AI倫理問題面前，今天人類共有的彷徨：人性的本質(zhì)是矛盾的，但我們卻想要模仿人類的AI具備統(tǒng)一規(guī)則。

可是，誰來?yè)?dān)保安全鎖的清白？

無論任何AI安全保護(hù)措施，歸根結(jié)底就是一句話：希望AI能明辨善惡，善則從之，惡則止矣。

而這談何容易？在AI需要越來越多人類社會(huì)產(chǎn)出的訓(xùn)練數(shù)據(jù)時(shí)，人類的種種價(jià)值判斷也映射其中。一些人類社會(huì)中的倫理障礙也不免裹挾進(jìn)了AI的世界。

比如說，我們已經(jīng)開始探索，能不能讓AI系統(tǒng)在其他AI犯錯(cuò)時(shí)終止它的行為。但這就涉及什么才是錯(cuò)誤AI行為的定義邊界問題。誰來標(biāo)注錯(cuò)誤行為呢？

我們都知道，谷歌AI曾經(jīng)把黑人識(shí)別成猩猩，這顯然是一種歧視行為。但如果AI判斷應(yīng)該在某個(gè)治安不好的街區(qū)加強(qiáng)警力部署，那這是不是也是一種歧視，應(yīng)該被終端呢？這個(gè)問題確實(shí)已經(jīng)在洛杉磯警察局所使用的系統(tǒng)中展現(xiàn)了出來，在加州當(dāng)?shù)匾l(fā)了激烈爭(zhēng)論。

更進(jìn)一步，國(guó)家間的AI規(guī)則是否應(yīng)該一致？今天越來越多的AI公司與國(guó)際產(chǎn)業(yè)組織，甚至政府組織開始呼吁重視AI的倫理道德問題，制定國(guó)際統(tǒng)一的AI道德規(guī)范。但統(tǒng)一的AI規(guī)范會(huì)不會(huì)侵犯某些國(guó)家的風(fēng)俗與習(xí)慣？是不是會(huì)對(duì)一些國(guó)家地區(qū)的AI研究造成阻礙？比如說歐盟的AI研究隱私保護(hù)政策真的適合全世界嗎？

這些AI倫理層面近乎悖論的問題，是一切AI安全鎖技術(shù)與產(chǎn)業(yè)行為面對(duì)的最深處敵人。甚至向更長(zhǎng)遠(yuǎn)的未來看去，人類的行為判斷真的就比AI好嗎？某些時(shí)候，用技術(shù)來中斷不可預(yù)測(cè)的機(jī)器學(xué)習(xí)行為，是否其實(shí)展露著人類的無知？或者終止了用技術(shù)創(chuàng)造技術(shù)的全新可能？

好吧，這些問題在今天都沒有什么真正的答案。這也意味著，今天想要給AI戴上一把嚴(yán)格意義上的安全鎖，還是一個(gè)不可能的任務(wù)。然而破解AI黑箱性和AI自我監(jiān)督的技術(shù)進(jìn)展，確實(shí)正在讓AI應(yīng)用的安全指數(shù)快速提升。很多今天浮現(xiàn)在媒體中的AI安全問題，應(yīng)該都可以被快速解決掉。

問題和解決方案，永遠(yuǎn)是交替往復(fù)的狀態(tài)向前奔跑。

最后讓我們“科幻”一下來結(jié)束這個(gè)話題。