人工智能 (AI) 可以追溯到古代，當(dāng)時的哲學(xué)家們編造出了許多關(guān)于人造實(shí)體如何被賦予人類智能或意識的寓言、神話和謠言。隨著大數(shù)據(jù)、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷演進(jìn)，AI 技術(shù)逐漸從遙遠(yuǎn)的寓言和神話中走入真實(shí)世界。

近幾十年來，AI 一直處于技術(shù)進(jìn)步的前沿，它被廣泛應(yīng)用于安防監(jiān)控、自動駕駛、金融預(yù)測、醫(yī)療診斷、視頻游戲等領(lǐng)域。

一些 AI 成果包括人臉識別、自然語言處理、語音識別、文本生成、語言翻譯、藥物開發(fā)等已經(jīng)深刻改變了人們對健康、生活、學(xué)習(xí)和其他方面的看法。毫無疑問，在未來，許多企業(yè)將依靠人工智能來提高效率和工作流程。

但是，在 AI 推動生產(chǎn)效率的提升和產(chǎn)業(yè)的數(shù)字化轉(zhuǎn)型升級的同時，它所帶來的技術(shù)風(fēng)險和隱私倫理問題同樣值得警惕，黑客也在利用 AI 技術(shù)開發(fā)軟件程序并執(zhí)行隱形攻擊。

更重要的是，AI 技術(shù)本身也存在安全漏洞。當(dāng)前主流的深度神經(jīng)網(wǎng)絡(luò)等技術(shù)具有的“黑箱屬性”，導(dǎo)致 AI 算法存在不可解釋性。這也就意味著 AI 技術(shù)在算法安全性上存在著不確定因素，可能會在產(chǎn)業(yè)應(yīng)用落地中出現(xiàn)各種安全隱患和風(fēng)險。

當(dāng)身處數(shù)字化轉(zhuǎn)型升級的各個產(chǎn)業(yè)正在享受這一波新的智能化技術(shù)紅利的時候，AI 安全問題，就如同網(wǎng)絡(luò)安全、信息安全一樣，被提上產(chǎn)業(yè)數(shù)字化建設(shè)的日程表了。

那么，如何部署 AI 技術(shù)才會更安全？我們該如何防范利用算法漏洞對 AI 系統(tǒng)進(jìn)行的惡意攻擊？在訓(xùn)練 AI 模型時，如何保障數(shù)據(jù)的隱私和安全？帶著這些問題，我們采訪到了瑞萊智慧 RealAI 公司首席執(zhí)行官田天，請他來與我們聊一聊 AI 安全領(lǐng)域面臨的挑戰(zhàn)以及應(yīng)對之策。

以下為訪談實(shí)錄，經(jīng)編輯：

InfoQ：目前 AI 領(lǐng)域面臨的安全威脅都有哪些？

田天：前幾年大家更多關(guān)注的是，人工智能如何在場景中應(yīng)用起來，去提升生活質(zhì)量以及生產(chǎn)效率等等。但是近年來隨著人工智能開始應(yīng)用在很多高價值關(guān)鍵場景，比如金融、交通等領(lǐng)域，很多安全隱患開始逐步體現(xiàn)出來。我們關(guān)注到至少有三方面存在比較重大的安全隱患：

第一，模型算法本身的安全性、可靠性問題。現(xiàn)階段人工智能的發(fā)展很多都是基于深度學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)。隨著神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)越來越復(fù)雜，模型越來越大，參數(shù)越來越多。其實(shí)反過來講，神經(jīng)網(wǎng)絡(luò)模型也是一個越來越復(fù)雜、越來越難以理解的黑盒模型。然而黑盒模型就有可能存在一些難以被發(fā)現(xiàn)的錯誤邏輯，或者說結(jié)構(gòu)性的算法漏洞、算法后門，黑客可以利用這些漏洞發(fā)起攻擊。

以目前大規(guī)模落地的人臉識別系統(tǒng)為例，人臉識別系統(tǒng)依靠海量人臉數(shù)據(jù)進(jìn)行特征提取、訓(xùn)練，進(jìn)而進(jìn)行識別，整個過程為黑箱模式，缺乏可解釋性，黑產(chǎn)分子可利用漏洞進(jìn)行多種模式的繞過與攻擊。例如對抗樣本攻擊，在人臉照片上添加少量干擾或?qū)寡a(bǔ)丁打印制作后由真人佩戴，就能欺騙人臉識別系統(tǒng)。除了人臉識別系統(tǒng)，自動駕駛汽車搭載的感知系統(tǒng)也同樣能夠被攻擊，比如障礙物上加裝干擾因素，改變表面顏色、修改形狀，就可能誤導(dǎo)感知算法，讓車輛無法感知到障礙物，這些都是算法層的安全漏洞，存在巨大的安全隱患。

第二，數(shù)據(jù)安全。人工智能的發(fā)展離不開大數(shù)據(jù)，要構(gòu)造能力更強(qiáng)的人工智能，需要更多、更關(guān)鍵以及更高價值的數(shù)據(jù)。但是高價值數(shù)據(jù)往往與個人隱私信息，甚至商業(yè)機(jī)密信息相綁定。那么在落地 AI 的過程中，就可能在數(shù)據(jù)應(yīng)用或者流通環(huán)節(jié)造成信息泄露。比如近些年愈演愈烈的電信詐騙，源頭就來自于個人信息泄露，詐騙分子利用非法渠道獲取的隱私數(shù)據(jù)偽造身份信息實(shí)行欺詐。所以，如何在保證發(fā)揮人工智能作用的同時，確保數(shù)據(jù)使用的安全，這是非常關(guān)鍵的問題。

第三，技術(shù)的應(yīng)用可控問題，簡單來講就是 AI 濫用問題。因?yàn)槿斯ぶ悄苁且粋€能力非常強(qiáng)的工具，但是工具就具有兩面性質(zhì)，可以被用于造福人類的場景，反過來也可能被不正當(dāng)?shù)睦?。比如最典型的深度合成技術(shù)，也就是我們熟知的“AI 換臉”，這項(xiàng)技術(shù)能夠升級影視制作、廣告營銷等場景中的內(nèi)容制作效率和質(zhì)量，并為一些全新場景提供了技術(shù)可能，例如虛擬主播。但這項(xiàng)技術(shù)目前卻被大規(guī)模的濫用，比如通過“AI 換臉”技術(shù)進(jìn)行色情視頻生成、編造虛假新聞等。一些黑產(chǎn)分子甚至通過使用軟件程序低成本地合成帶有各種動作的人臉視頻，結(jié)合注入攻擊手段后便可以輕易欺騙線上人臉識別系統(tǒng)，進(jìn)而從事詐騙行為。我們認(rèn)為防范 AI 濫用，也是整個人工智能應(yīng)用環(huán)節(jié)必須要關(guān)注到的安全風(fēng)險。

InfoQ：現(xiàn)在大家對抗性機(jī)器學(xué)習(xí)的受關(guān)注熱度比較高，什么是對抗性機(jī)器學(xué)習(xí)，常見的對抗性機(jī)器學(xué)習(xí)的場景有哪些？

田天：對抗性機(jī)器學(xué)習(xí)最典型的是針對深度學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)的對抗，也就是上個問題中算法安全部分我們提到的。深度神經(jīng)網(wǎng)絡(luò)其實(shí)是非常復(fù)雜的模型，而復(fù)雜模型本身就是一個黑盒，黑盒的設(shè)計(jì)者、開發(fā)者也不知道模型內(nèi)部結(jié)構(gòu)、算法的運(yùn)算邏輯是怎樣的。對抗機(jī)器學(xué)習(xí)包含攻擊手段與防御手段。攻擊端就是利用攻擊手段去尋找模型設(shè)計(jì)過程中存在的缺陷或漏洞，相當(dāng)于找模型什么時候會出錯。防御側(cè)則是在發(fā)現(xiàn)隱患或漏洞后，通過對抗訓(xùn)練、外部接入保護(hù)措施等方式，來提升整個模型的安全性，保證模型在受到攻擊后的安全運(yùn)行。

其實(shí)，在人工智能應(yīng)用的各個場景中，廣泛存在著對抗機(jī)器學(xué)習(xí)的問題。典型的比如圖像領(lǐng)域的人臉識別、圖像分類以及目標(biāo)檢測，都存在算法安全問題，像上面提到的通過特定的攻擊方式能夠讓模型失效，因此需要通過對抗學(xué)習(xí)的方式來提升安全性。除此，語音識別、推薦系統(tǒng)，甚至自然語言處理等等，各個場景都存在著對抗。另外按照攻擊類型來分，可分為有目標(biāo)攻擊和無目標(biāo)攻擊等不同類型。所以整個對抗機(jī)器學(xué)習(xí)是一個非常大的技術(shù)體系，需要進(jìn)行專門研究。

InfoQ：我們花費(fèi)大量的人力、物力研發(fā)出了一個模型以后，是不是攻擊者也要付出很大的代價來攻擊它？

田天：對于攻擊者來說，如果要做白盒攻擊，就需要獲得被攻擊模型的所有信息，包括網(wǎng)絡(luò)結(jié)構(gòu)、參數(shù)等等，這其實(shí)是非常難、成本很高的一件事情。退而求其次，如果去做黑盒攻擊，實(shí)施起來相對就會容易一些，一類被稱為查詢攻擊的方法是需要去持續(xù)請求被攻擊模型，獲得該模型在特定樣本上給出來的反饋結(jié)果，另一類被稱為遷移攻擊的方法，甚至可以不用在實(shí)施真正的攻擊前去請求被攻擊模型。所以攻擊技術(shù)也在演化，相當(dāng)于是很多人在嘗試去降低攻擊的成本，而且隨著技術(shù)的開源化、工具化，攻擊的難度和成本肯定是逐步降低的。

InfoQ：目前對抗性機(jī)器學(xué)習(xí)對于 AI 和機(jī)器學(xué)習(xí)系統(tǒng)造成的主要危害有哪些？

田天：主要危害在于讓算法出錯，使 AI 系統(tǒng)無法給出正確的結(jié)果。以人臉識別為例，比如刷臉閘機(jī)，正常情況下，只有存有身份信息獲得授權(quán)的人員才能通過。但是利用算法漏洞，我作為一個未授權(quán)人員通過在面部添加特定干擾，就能讓系統(tǒng)出錯通過閘機(jī)。這相當(dāng)于產(chǎn)品的基本功能失效了，存在明顯的危害。

InfoQ：在自動駕駛領(lǐng)域，比如很多車企之前就曝光因自動駕駛系統(tǒng)失控發(fā)生多起安全事故，威脅到駕駛員的人身安全，對于這種現(xiàn)象您怎么看？

田天：自動駕駛的很多安全問題也源自于算法本身的不可靠、魯棒性差。一方面在于，自動駕駛系統(tǒng)本身的魯棒性就比較差，在特殊的場景下，或者一些極端情況下很容易出錯另外，還有可能被人利用算法漏洞惡意發(fā)起攻擊，與上面人臉識別的問題類似，攻擊者修改目標(biāo)物體的顏色、形狀等，就能讓自動駕駛車輛的攝像頭，甚至激光雷達(dá)失效，目前這類攻擊成功率是非常高的。

InfoQ：針對這樣的安全隱患，我們有哪些防范措施？

田天：針對這個問題，我們在做兩方面的工作。以網(wǎng)絡(luò)安全作為對比，隨著互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)領(lǐng)域存在很多網(wǎng)絡(luò)安全隱患，因此出現(xiàn)了一系列工具來增強(qiáng)網(wǎng)絡(luò)系統(tǒng)的安全性，比如大家比較熟悉的殺毒軟件、防火墻。

類似的，我們在做針對 AI 系統(tǒng)的殺毒軟件和防火墻。這里的“殺毒軟件”是我們推出的業(yè)內(nèi)首個人工智能安全平臺 RealSafe，通過內(nèi)置一系列攻擊算法和防御算法，提供從模型安全測試到模型安全加固一站式能力。例如一套人臉識別系統(tǒng)，接入到平臺后，可以調(diào)用攻擊算法模塊對系統(tǒng)自動進(jìn)行模擬攻擊，平臺會輸出安全性評分報告，借此得知系統(tǒng)模型在什么樣的情況下容易受到攻擊。在發(fā)現(xiàn)安全隱患之后，針對每一種漏洞或攻擊風(fēng)險，平臺搭載了對應(yīng)的防御模塊，通過對抗訓(xùn)練或者其他方式來增強(qiáng)模型的安全性。

另外，我們也開發(fā)標(biāo)準(zhǔn)化的 AI 安全防火墻。比如現(xiàn)階段的人臉識別系統(tǒng)存在一系列的模型和算法漏洞，容易受到攻擊，我們在現(xiàn)有人臉識別流程中前置防火墻模塊，識別請求先過防火墻，防火墻來判斷里面輸入數(shù)據(jù)中是否存在攻擊。如果沒有攻擊，正常進(jìn)入后面的識別環(huán)節(jié)，如果有攻擊就直接拒絕，保證系統(tǒng)不受攻擊，更加安全。

InfoQ：您說的 AI 安全平臺以及防火墻這樣的工具，目前的效果是怎么樣的，如果要給這個效果從 1-10 打分，您會打幾分？

田天：安全問題進(jìn)入 AI 時代，最明顯的特征就是深度神經(jīng)網(wǎng)絡(luò)增強(qiáng)了 AI 的自我學(xué)習(xí)和升級迭代能力，而這種能力自然也被攻擊者所掌握。所以，AI 時代談安全，其實(shí)不僅僅是談“魔高一尺道高一丈”的問題，更是談“魔”和“道”誰對誰的感知能力更強(qiáng)，誰更有預(yù)見性和主動權(quán)的問題。針對這樣的新特點(diǎn)，瑞萊智慧人臉識別防火墻 RealGuard 具備兩個最主要的優(yōu)勢：一是對人臉識別物理和數(shù)字世界的全景式安全態(tài)勢感知能力，始終力爭讓“道”走在“魔”的前面，這其中的底氣來源于瑞萊智慧依托清華多年來對人工智能安全算法、對構(gòu)建第三代人工智能的科研攻堅(jiān)。二是對攻擊防御的高準(zhǔn)確率，目前，RealGuard 可以針對對抗樣本攻擊、面部替換攻擊、表情操縱攻擊等新型人臉識別安全風(fēng)險，做到全覆蓋防御。如果說要對效果進(jìn)行打分，那我更愿意用產(chǎn)品的客觀運(yùn)行數(shù)據(jù)說話，RealGuard 目前針對攻擊的拒絕率達(dá)到 98% 以上。

InfoQ：這兩款產(chǎn)品目前的應(yīng)用進(jìn)展如何，有取得哪些成效？

田天：目前這兩款產(chǎn)品已經(jīng)在金融、政府等領(lǐng)域落地。比如在金融領(lǐng)域，我們與多家國有行、股份制銀行合作，提供人臉識別系統(tǒng)的安全檢測與加固服務(wù)；在政府領(lǐng)域，我們與公安部門合作，提供監(jiān)控視頻智能化方案，基于攻防加固提升監(jiān)控系統(tǒng)的安全性；包括我們與多家整車廠商合作，提供自動駕駛安全解決方案。

InfoQ：經(jīng)過多年的發(fā)展，您認(rèn)為人工智能安全的研究發(fā)展到了哪個階段？

田天：現(xiàn)在這個領(lǐng)域已經(jīng)走出實(shí)驗(yàn)室，進(jìn)入到產(chǎn)業(yè)化的階段。隨著近年來安全事件的層出不窮，以及政策監(jiān)管的重視，市場迫切需要針對 AI 應(yīng)用的安全產(chǎn)品。其實(shí)包括我們在內(nèi)，國內(nèi)外近年來也陸續(xù)出現(xiàn)一些團(tuán)隊(duì)開始從事這一領(lǐng)域，布局商業(yè)化的 AI 安全產(chǎn)品，推出相關(guān)的軟件、系統(tǒng)、硬件等等。尤其今年來看，產(chǎn)業(yè)已經(jīng)開始進(jìn)入快速發(fā)展的落地期，金融、公安等重點(diǎn)領(lǐng)域都開始落地。

InfoQ：您覺得未來 AI 安全將會朝哪個方向發(fā)展，有哪些技術(shù)值得關(guān)注？

田天：第一，AI 對抗攻防技術(shù)必須要持續(xù)研究。因?yàn)楣艉头烙且粋€持續(xù)升級的過程，新的攻擊手段會不斷地產(chǎn)生，因此也需要不斷研究新的防御手段；

第二，對合成技術(shù)的安全問題需要加大關(guān)注。因?yàn)殡S著技術(shù)的不斷成熟，合成類內(nèi)容在清晰度、流暢度、逼真度等各方面都有大幅提升，已經(jīng)超越了人眼分辨的極限，真假難辨的背后是對社會信任的沖擊，危害性在不斷增強(qiáng)，因此必須依靠技術(shù)手段對這類偽造內(nèi)容進(jìn)行判別以及溯源；

第三，需要去發(fā)展與人工智能相適應(yīng)的隱私保護(hù)技術(shù)，確保人工智能應(yīng)用過程中，對敏感數(shù)據(jù)的保護(hù)，不泄露數(shù)據(jù)。并且，這三方面需要去并行發(fā)展。

編輯：黃飛

?