《智能系統(tǒng)數(shù)據(jù)安全》

大家好，我是武漢大學(xué)的王騫，今天我給大家分享的題目是《智能系統(tǒng)數(shù)據(jù)安全》。隨著移動互聯(lián)網(wǎng)飛速發(fā)展、硬件設(shè)備持續(xù)升級、海量數(shù)據(jù)產(chǎn)生以及算法不斷更新，人工智能的發(fā)展已呈勢不可擋之勢，逐漸滲透并深刻改變著人類的生產(chǎn)生活。深度學(xué)習(xí)相關(guān)技術(shù)及其應(yīng)用的發(fā)展令人矚目，人工智能離人類生活越來越近。毫不夸張地說，AI已“入侵”到人類生活的方方面面。

AI與安全的關(guān)系

人工智能和安全有著密不可分的聯(lián)系。一方面，人工智能技術(shù)能被運用到許多安全應(yīng)用場景，提高其可用性和安全性；同時，AI技術(shù)也是一把雙刃劍，不法分子可以濫用AI技術(shù)破壞其他系統(tǒng)。另一方面，安全和隱私保護的相關(guān)技術(shù)也能進一步完善人工智能系統(tǒng)。毋庸置疑的是，AI可以作為安全性增強的武器。近年來我們見證了AI在網(wǎng)絡(luò)安全、安全態(tài)勢感知、智能安防、生物認證等多個領(lǐng)域的快速崛起。與此同時，AI 技術(shù)也可能被濫用，以deepfake為例，攻擊者可以利用深度偽造技術(shù)偽造圖片、視頻、音頻等，用于詐騙、傳播虛假的新聞，甚至偽造政治風(fēng)險。此外，一些相對成熟的AI 技術(shù)，諸如人臉識別等，也有被濫用的趨勢，如惡意侵犯用戶的隱私、追蹤以及分析用戶隱私數(shù)據(jù)等。

盡管人工智能被認為是將深刻改變?nèi)祟惿鐣?、改變世界的顛覆性技術(shù)，但是與任何一種先進技術(shù)發(fā)展和應(yīng)用的過程類似，當(dāng)面向用戶的服務(wù)越來越成熟，客戶資源逐漸增長，最終安全性會成為進一步廣泛部署人工智能系統(tǒng)的最大挑戰(zhàn)。以自動駕駛為例，自動駕駛車輛安全事故頻發(fā)，造成嚴重的經(jīng)濟損失、甚至人員傷亡，對公共安全造成極大威脅。除此以外，其他針對AI自身安全的威脅，尤其是針對AI模型或數(shù)據(jù)的機密性、完整性甚至可用性等各類潛在威脅，也層出不窮。鑒于此，我們的研究將重點聚焦在AI自身安全方面，即如何安全地實現(xiàn)更好的AI。

在此，從信息安全的三要素CIA，也就是機密性、完整性、可用性的角度出發(fā)，廣義上理解AI安全的含義：機密性是指防止敏感數(shù)據(jù)泄露，在AI系統(tǒng)中，敏感數(shù)據(jù)可能是訓(xùn)練數(shù)據(jù)、模型，或者用于推理的用戶數(shù)據(jù)。相關(guān)的研究方向主要有加密模型訓(xùn)練與推理、推理攻擊及其防御等。完整性是指在傳輸、存儲信息或使用數(shù)據(jù)的過程中，確保它們不被未授權(quán)的篡改或在篡改后能夠被迅速發(fā)現(xiàn)。針對AI系統(tǒng)可能存在通過篡改輸入樣本使模型識別出錯的對抗樣本攻擊，或通過篡改訓(xùn)練數(shù)據(jù)使訓(xùn)練得到的模型功能異常的數(shù)據(jù)投毒等?？捎眯允侵笇I系統(tǒng)的合法使用，其主要考慮針對智能系統(tǒng)的安全身份認證，即智能系統(tǒng)的訪問控制通過基于“智能”的身份認證，讓用戶合法使用數(shù)據(jù)或模型。

在AI系統(tǒng)中，數(shù)據(jù)的流轉(zhuǎn)過程主要分為以下幾個階段：在服務(wù)器端，訓(xùn)練數(shù)據(jù)經(jīng)訓(xùn)練過程得到模型，服務(wù)器可將模型或其接口開放給用戶使用，或?qū)⒛Ｐ驮俨渴鸬街悄芟到y(tǒng)上。在客戶端，用戶將其樣本輸入模型或智能系統(tǒng)，得到返回的識別結(jié)果。對應(yīng)這個數(shù)據(jù)流轉(zhuǎn)過程的各個階段，按照CIA的概念，可將AI系統(tǒng)中已知的主要安全問題與研究方向大致歸為以下幾類：

針對訓(xùn)練數(shù)據(jù)集，存在數(shù)據(jù)投毒與后門攻擊為代表的完整性的問題；

針對訓(xùn)練過程，存在如何驗證結(jié)果正確性的完整性問題，與保護敏感數(shù)據(jù)的機密性問題；

針對模型以及部署了模型的AI系統(tǒng)，存在對抗性攻擊、傳感器欺騙等完整性問題，成員推理等機密性問題，以及關(guān)于系統(tǒng)合法使用的可用性問題。

在這些方向上，我們近幾年已取得了許多的成果，包括投毒、后門攻擊及其防御，隱私保護的模型訓(xùn)練與推理，可驗證的模型訓(xùn)練，對抗樣本攻擊及其防御，訓(xùn)練數(shù)據(jù)竊取與模型竊取攻擊，智能系統(tǒng)身份認證攻防等。我們希望通過這一系列研究，能有助于整體上提高AI系統(tǒng)從構(gòu)建到使用的安全性。在應(yīng)用場景方面，我們的研究成果可用于提升包括語音、圖像、文本等多模態(tài)數(shù)據(jù)的識別分析系統(tǒng)安全能力，為從互聯(lián)網(wǎng)收集、傳感器采集等渠道獲取到數(shù)據(jù)的可靠分析提供充分的保障和支撐。

訓(xùn)練階段

從模型流轉(zhuǎn)的整個過程來看訓(xùn)練數(shù)據(jù)集所面臨的兩種安全風(fēng)險：數(shù)據(jù)投毒和后門攻擊。訓(xùn)練人工智能模型需要海量的數(shù)據(jù)，數(shù)據(jù)集的質(zhì)量對模型的訓(xùn)練起著至關(guān)重要的作用，一旦惡意數(shù)據(jù)被用于模型訓(xùn)練，就可能影響模型部署時的性能。在現(xiàn)實場景下，海量數(shù)據(jù)來源多樣、采集過程難以管理、預(yù)處理過程復(fù)雜，這些會帶來數(shù)據(jù)集層面上的安全威脅。最近UC Berkeley團隊發(fā)現(xiàn)，當(dāng)在聯(lián)邦學(xué)習(xí)中，有惡意的參與者僅投毒自己的子訓(xùn)練數(shù)據(jù)集，并不控制其他人，就能夠?qū)崿F(xiàn)擾亂最終模型的行為。具體來說，當(dāng)模型學(xué)習(xí)有毒的數(shù)據(jù)后（即數(shù)據(jù)投毒），其性能會有大幅度的衰減（無差別攻擊）或者模型中嵌入了攻擊者設(shè)定的惡意后門（后門攻擊）。

數(shù)據(jù)投毒和后門攻擊既有聯(lián)系，也有區(qū)別。在概念上，投毒是一種攻擊的手段，數(shù)據(jù)投毒指的是通過篡改訓(xùn)練數(shù)據(jù)來影響模型的所有攻擊形式的統(tǒng)稱。后門是一種攻擊的效果，后門攻擊指的是向模型中植入特定的模式，在模型推理階段，一旦模型中的后門被惡意數(shù)據(jù)觸發(fā)，模型就會按照攻擊者指定的方式工作。后門攻擊可以通過數(shù)據(jù)投毒的手段來實現(xiàn)，攻擊者可以通過向訓(xùn)練數(shù)據(jù)中注入含有“觸發(fā)器”的惡意樣本來向模型中植入后門。后門攻擊也可以通過遷移學(xué)習(xí)、知識蒸餾等其他方式來實現(xiàn)模型到模型的傳播。投毒攻擊可以達到后門攻擊的效果，投毒可以將數(shù)據(jù)中的惡意模式植入模型。投毒攻擊也可以通過數(shù)據(jù)傾斜、反饋武器化、邏輯污染等其他形式實現(xiàn)，使模型的準確度或者在特定類別上的性能下降。數(shù)據(jù)投毒和后門攻擊兩種威脅也真實存在于現(xiàn)實生活中。數(shù)據(jù)投毒的典型案例有：2018年，有報告指出，多個垃圾郵件團體通過將大量垃圾郵件上報成正常郵件，來向谷歌郵件的垃圾郵件過濾器發(fā)起投毒攻擊；2017年，一群特朗普的支持者在多個應(yīng)用商店平臺上給新聞媒體打低分，以此拉低新聞媒體應(yīng)用在商店內(nèi)的排名；2015年，有黑客組織向反病毒工具virustotal上報惡意樣本，試圖讓病毒檢測服務(wù)將正常文件錯誤識別成病毒文件。已有的后門攻擊案例包括：對人臉識別系統(tǒng)的后門攻擊，被攻擊的人臉識別神經(jīng)網(wǎng)絡(luò)會將含有觸發(fā)器的人臉識別為特定人物；還有針對自動駕駛模擬器的后門攻擊，被攻擊的自動駕駛系統(tǒng)會對交通指示牌識別出錯，造成交通事故。

近年來，關(guān)于數(shù)據(jù)投毒攻擊和后門攻擊也取得了一些研究進展。數(shù)據(jù)投毒攻擊的研究可以分為針對無差別的攻擊研究和針對后門攻擊的研究，其中包含了針對特定系統(tǒng)的攻擊研究、針對投毒的數(shù)據(jù)集保護研究、還有新型投毒方式的研究等。后門攻擊的研究可以分為有污染數(shù)據(jù)和干凈訓(xùn)練集兩種主要類型，其中包含了針對后門植入方式的研究、針對后門可遷移性的研究、還有新型觸發(fā)器形式的研究等。

與現(xiàn)有工作任意設(shè)置后門觸發(fā)器的位置形狀不同，我們精心設(shè)計了一個基于注意力機制的后門觸發(fā)器模具選擇算法，通過將觸發(fā)器放在對預(yù)測結(jié)果影響最顯著的關(guān)鍵區(qū)域，可以大大提高觸發(fā)器的影響。為了使后門觸發(fā)器更自然且不易察覺，我們在后門觸發(fā)器生成的損失函數(shù)中引入了體驗質(zhì)量 (QoE) 項，并仔細調(diào)整了后門觸發(fā)器的透明度，從而達到規(guī)避人眼視覺檢查的作用。因考慮到后門攻擊中，攻擊者可以同時操縱輸入和模型，即觸發(fā)器擾亂輸入樣本、并將后門注入到模型，因此與現(xiàn)有方法（分割后門觸發(fā)器以及污染模型的步驟）不同，我們使用協(xié)同進化策略，同時優(yōu)化后門觸發(fā)器和目標模型，進一步提高攻擊成功率。在協(xié)同優(yōu)化后門觸發(fā)器的生成和后門注入的過程中，我們提出了一種交替再訓(xùn)練策略(即不單一使用后門數(shù)據(jù)重訓(xùn)目標模型注入后門，也間隔使用良性數(shù)據(jù)訓(xùn)練目標模型），該策略被證明在提高干凈數(shù)據(jù)準確性和規(guī)避一些基于模型的防御方法如MNTD(2021 S&P) 方面是有效的。

我們通過對6個數(shù)據(jù)集的大量實驗來評估ATTEQ-NN。結(jié)果表明，當(dāng)毒化比例較低時，與基線相比，ATTEQ-NN可以將攻擊成功率提高多達82%。我們證明了ATTEQ-NN在不同光照條件和拍攝角度下在物理世界中也是有效的，攻擊成功率達到了37.78%以上。ATTEQ-NN在遷移學(xué)習(xí)場景中也很有效，同時ATTEQ-NN 被證明可以避開最先進的防御方法，包括模型修剪、NAD、STRIP、NC 和 MNTD。

回顧AI系統(tǒng)中的數(shù)據(jù)流轉(zhuǎn)過程，在考慮過訓(xùn)練數(shù)據(jù)集中存在的安全問題后，接下來是訓(xùn)練過程中的安全問題。首先是訓(xùn)練過程中的隱私風(fēng)險與保護問題。如今互聯(lián)網(wǎng)公司大都會通過采集大量用戶個人信息訓(xùn)練模型，以改進其服務(wù)質(zhì)量的方式來盈利。而用戶數(shù)據(jù)往往會包含許多個人敏感信息，隨著人們隱私意識的提高以及相關(guān)法律法規(guī)的完善，規(guī)范化用戶數(shù)據(jù)采集已成為今后的趨勢。不僅如此，一旦用戶數(shù)據(jù)由于保管不當(dāng)被泄露，將會造成惡劣的社會影響。除原始數(shù)據(jù)直接泄漏問題，一旦攻擊者能夠獲取訓(xùn)練過程中模型參數(shù)或者梯度等信息的更新，它就能夠從中更容易地獲取到關(guān)于訓(xùn)練數(shù)據(jù)的部分信息。典型的例子就是聯(lián)邦學(xué)習(xí)場景，參數(shù)服務(wù)器能夠獲取到所有參與者的參數(shù)更新情況，而對于參與者，也可能從服務(wù)器返回的聚合模型中推測出關(guān)于他人的一部分參數(shù)更新情況?，F(xiàn)有研究已表明這些信息足以幫助攻擊者重建出關(guān)于受害者的部分訓(xùn)練數(shù)據(jù)。因此，如何能夠在保證數(shù)據(jù)安全的前提下對其進行利用，是AI技術(shù)今后發(fā)展所面臨的一個重要問題。

當(dāng)今實現(xiàn)隱私保護機器學(xué)習(xí)的主要途徑主要有四種：一是直接在密文數(shù)據(jù)上運行學(xué)習(xí)算法；二是借助可信硬件的機密性特性，將敏感數(shù)據(jù)放在可信環(huán)境中解密和運行學(xué)習(xí)算法；三是在訓(xùn)練過程中添加差分隱私噪聲，防止模型泄漏訓(xùn)練數(shù)據(jù)的信息；四是采用聯(lián)邦學(xué)習(xí)的方式，數(shù)據(jù)持有者在本地進行訓(xùn)練而僅共享訓(xùn)練結(jié)果。

在隱私數(shù)據(jù)竊取方面，我們探索了聯(lián)邦學(xué)習(xí)場景中，當(dāng)服務(wù)器可能為惡意時的隱私泄露風(fēng)險，并提出了一種基于GAN的用戶訓(xùn)練數(shù)據(jù)重建攻擊。在訓(xùn)練過程中，服務(wù)器在與參與者共同完成模型訓(xùn)練任務(wù)的同時，額外訓(xùn)練一個GAN，其中的生成器用于仿造用戶數(shù)據(jù)集中的樣本，判別器則幫助改進仿造的結(jié)果。在每一輪訓(xùn)練中，服務(wù)器根據(jù)受害者上傳的參數(shù)首先構(gòu)建出能與其獲得相似結(jié)果的數(shù)據(jù)表征，并連同更新參數(shù)一同用于訓(xùn)練GAN中的判別器，以此不斷改進生成器重建出的樣本與原始訓(xùn)練數(shù)據(jù)的相似程度。實驗結(jié)果顯示，對比其他的同類攻擊，我們的方案重建出的圖像與訓(xùn)練數(shù)據(jù)更為相似。

除隱私問題之外，在訓(xùn)練階段還存在著如何驗證AI算法正確執(zhí)行的問題。即我們是否能夠驗證AI算法是否正確按照我們的想法去執(zhí)行。不可信的AI服務(wù)提供商可能并沒有完成他們聲稱的任務(wù)，卻夸大了他們的工作來獲取不當(dāng)利益，例如通過向用戶返回偽造的訓(xùn)練模型或推理結(jié)果節(jié)省計算成本從而賺取更多利潤，或者夸大他們沒有實現(xiàn)的技術(shù)來吸引投資者等。現(xiàn)實中，這類問題已發(fā)生過多起。知名云計算服務(wù)亞馬遜AWS就曾出現(xiàn)過超額向用戶收費的問題；印度AI初創(chuàng)公司engineer.ai曾宣稱他們使用AI技術(shù)自動開發(fā)app以吸引投資，但實際上卻使用人力進行開發(fā)；谷歌的duplex語音助手也曾被指出約有四分之一的調(diào)用是由人類來回應(yīng)的。因此，不管是個人用戶還是大型公司，在使用他人提供的AI技術(shù)時，都有著驗證該技術(shù)正確性的需求。

目前，關(guān)于如何實現(xiàn)可驗證的機器學(xué)習(xí)，現(xiàn)有研究還較少。目前主要有三種解決方法：第一種是采用基于密碼學(xué)的可驗證計算技術(shù)，能夠為全部計算步驟提供嚴格的完整性保障。第二種是采用統(tǒng)計分析的方式，通過分析模型訓(xùn)練過程中不同迭代參數(shù)間的距離變化來確認計算的完整性。第三種是借助可信硬件的完整性特性，在可信執(zhí)行環(huán)境內(nèi)部運行學(xué)習(xí)算法。我們在該方向上做出了早期的探索，提出了首個基于密碼學(xué)的訓(xùn)練過程完整性驗證方案，已發(fā)表在TPDS’21上。該方案的核心思路是計算方在訓(xùn)練過程中生成關(guān)于中間結(jié)果的證明，驗證方則通過隨機抽取少量迭代步驟并使用zksnark技術(shù)來驗證相應(yīng)證明的方式，從而以高概率快速驗證計算任務(wù)的完整性。相比重新執(zhí)行一次完整計算任務(wù)的原始驗證方式，該方案所需的額外時間開銷要低一個數(shù)量級。此外，該方案同時也支持對模型推理的驗證、關(guān)于計算結(jié)果的公平交易等功能。

識別階段

關(guān)于識別階段的安全性威脅。在模型識別階段，我們可以進一步將攻擊面細化。以圖像和語音識別系統(tǒng)為例，在識別階段，物理世界下的數(shù)據(jù)通過傳感器轉(zhuǎn)化為數(shù)字化數(shù)據(jù)，再經(jīng)過智能識別模型得到最終決策。根據(jù)目標攻擊對象的不同，可以分為兩類攻擊：一類是針對機器學(xué)習(xí)識別模型的對抗樣本攻擊，包括物理域/數(shù)字域攻擊、黑盒/白盒攻擊、圖像/語音/文本識別攻擊等；另一類是針對傳感器的sensor spoofing attacks（傳感器欺騙攻擊），他們的攻擊對象是傳感器，通常通過物理域攻擊手段，攻擊識別系統(tǒng)的物理部件，達到破壞識別的目的。我們也可以將這類攻擊稱為“擬”對抗樣本攻擊。抽象而言，對抗樣本攻擊是通過加入人眼無法察覺的細微擾動造成模型錯誤輸出。對抗樣本有兩個約束條件，其一是“隱蔽性”，即對抗樣本應(yīng)該盡可能和原始樣本接近，以不被人察覺；其二是“對抗性”，即對抗樣本應(yīng)該能使模型將其錯誤識別為目標類別。

對抗樣本能成功導(dǎo)致系統(tǒng)識別出錯的本質(zhì)原因在于模型識別具有魯棒性。通常，由識別模型具有魯棒性，訓(xùn)練模型的決策邊界和實際的決策邊界具有差異性，該差異性則成為了“對抗樣本”的攻擊面，在該范圍內(nèi)的樣本，既滿足“對抗性”（識別出錯），又滿足“隱蔽性”（與正常樣本距離近）。

近些年來，已經(jīng)有大量關(guān)于圖像對抗樣本的研究，涉及視覺、語音、NLP等多個領(lǐng)域。例如，在人臉識別系統(tǒng)中，可以通過在原本人臉上添加精心構(gòu)造的對抗性鏡框圖案，使得目標系統(tǒng)識別成指定用戶。此外，另一個比較嚴重的安全隱患是攻擊者可以利用這種技術(shù)，偽裝成目標用戶，非法登錄以“刷臉”為認證手段的支付軟件，將其資金轉(zhuǎn)出，對經(jīng)濟利益、個人利益造成巨大傷害。

除了視覺領(lǐng)域，語音領(lǐng)域同樣有許多關(guān)于語音對抗樣本的研究。尤其是近年來針對智能語音識別系統(tǒng)的攻擊。我們近期發(fā)表在CCS21的工作，也針對最新的知名智能語音系統(tǒng)，包括蘋果Siri，微軟Cortana，Google Assistant，Amazon Echo等，成功生成了基于語音的對抗樣本攻擊，并提出了相關(guān)防范的建議。類似地，語音對抗樣本也是在原始良性音頻上添加微小噪聲，使得模型將其識別為目標結(jié)果，同時保證人耳聽上去仍是原始音頻的含義。近兩年，在比較熱點的自動駕駛領(lǐng)域也有許多針對對抗樣本的研究工作相繼被提出。例如通過在交通指示牌上貼貼紙，便可以使得自動駕駛汽車識別錯誤，造成重大交通事故。

其他類似的惡意對抗樣本示例包括：針對車載語音識別系統(tǒng)，惡意注入語音控制命令，或者惡意擾亂車載路障檢測系統(tǒng)的正常運作等。對抗樣本的攻擊對象是識別模型，還有一類工作則是通過欺騙預(yù)處理階段的傳感器，從而達到識別出錯的目的。例如比較有代表性的工作是海豚音攻擊，它通過超聲波播放器把語音命令調(diào)制加載到超聲波信號中，利用麥克風(fēng)本身的漏洞，在人耳無法察覺到的情況下攻擊目標語音識別系統(tǒng)。

針對圖像/語音/文本識別系統(tǒng)的對抗性攻擊這幾年已經(jīng)得到了廣泛的研究。針對識別階段的對抗性攻擊大致可分為傳感器欺騙攻擊和對抗樣本攻擊，根據(jù)數(shù)據(jù)種類的不同，對抗樣本攻擊又可以細分為圖像對抗樣本、語音對抗樣本。圖像對抗樣本根據(jù)攻擊者的能力，可以簡單分為白盒攻擊和黑盒攻擊。白盒情況下攻擊者能夠獲知機器學(xué)習(xí)模型的參數(shù)。而黑盒情況下，攻擊者只能與機器學(xué)習(xí)的系統(tǒng)進行交互，不知道模型具體細節(jié)。在初期階段，大家主要研究白盒攻擊，但白盒的假設(shè)較強。為了提高實用性，近幾年大家重點研究黑盒情況下的對抗性攻擊。

語音對抗樣本方面，在我們CCS21的工作中，針對商業(yè)語音平臺，提出了兩種黑盒語音對抗攻擊方案—Occam和 NI-Occam。Occam的攻擊對象是云上語音識別API，能在只依賴識別結(jié)果的情況下，生成具有100%攻擊成功率的語音對抗樣本。Occam是首個decision-only的黑盒攻擊，在decision-only的條件下，我們面對的是離散的問題。針對這一挑戰(zhàn)，我們首先將對抗樣本構(gòu)造轉(zhuǎn)換為一個直接在模型輸入空間上優(yōu)化的方法，從而克服了非連續(xù)優(yōu)化的難題。具體來說，我們將問題歸納為在輸入空間上的大規(guī)模全局優(yōu)化問題，然后利用協(xié)同優(yōu)化框架、cma-es等優(yōu)化方法解決該復(fù)雜問題。Occam成功攻擊了包括谷歌、微軟、阿里等7個語音API，同時達到了100%的攻擊成功率。

針對物理域的語音控制設(shè)備，我們還提出了一種非交互式的黑盒攻擊——NI-Occam。在物理攻擊場景下，使用揚聲器播放的語音對抗樣本需要通過空氣信道傳播才能被語音控制設(shè)備接收。而來自物理信道的信號畸變，可能會導(dǎo)致對抗樣本失效。為了克服這一困難，在自然命令的靈感啟發(fā)下，我們發(fā)現(xiàn)，正常的語音不論在多么嘈雜的環(huán)境中傳輸，總能被語音控制設(shè)備正確識別，即正常語音天然地能抵抗物理信號失真?；谶@一發(fā)現(xiàn)，我們可以在本地白盒模型上訓(xùn)練一個對抗樣本，使它具有與自然命令相似的關(guān)鍵部分，且能夠不受物理通道影響成功被目標設(shè)備識別到。同時，受到模型反演的啟發(fā)，即我們可以從輸出恢復(fù)出模型的關(guān)鍵部分甚至是輸入。借助模型反演技術(shù)的思想，可以將原始音頻看作模型輸入，并將目標語音命令看作模型輸出。經(jīng)過多輪迭代后，便可以“反演”出目標語音命令的關(guān)鍵部分，并將其“嵌入”到輸入音頻中。此時，該音頻具有對抗性，并能被目標設(shè)備識別成目標命令。我們的攻擊成功率達到了52%，成功攻擊了Apple siri、微軟Cortana等常見的語音助手。在客戶端，惡意的用戶也能通過查詢模型，來竊取服務(wù)器端的訓(xùn)練數(shù)據(jù)或模型信息。

關(guān)于模型反轉(zhuǎn)攻擊：攻擊者想要通過模型恢復(fù)該模型的訓(xùn)練數(shù)據(jù)，其利用模型預(yù)測結(jié)果來恢復(fù)出當(dāng)前類的數(shù)據(jù)樣本。具體來說，通過查詢模型獲得預(yù)測結(jié)果，并使用優(yōu)化的方式最大化目標類別的預(yù)測置信度，從而恢復(fù)出目標類別的原始特征。模型反轉(zhuǎn)攻擊泄露了模型的訓(xùn)練數(shù)據(jù)信息，一方面對模型的隱私造成重大威脅，另一方面，模型反轉(zhuǎn)攻擊可以作為對抗樣本攻擊和后門攻擊的跳板，對模型的安全性造成重大威脅。除恢復(fù)數(shù)據(jù)集之外，攻擊者還想要判斷模型訓(xùn)練是否使用了自己的數(shù)據(jù)，即成員推理攻擊?；谶@樣一個事實，模型會記住訓(xùn)練數(shù)據(jù)，因此訓(xùn)練數(shù)據(jù)和非訓(xùn)練數(shù)據(jù)會有著不同表現(xiàn)。因此，在判斷階段，將手中的數(shù)據(jù)樣本喂給模型，模型給出一個返回，然后基于這個返回來判別，當(dāng)前樣本是否屬于訓(xùn)練數(shù)據(jù)集。

前兩種攻擊更多的聚焦于訓(xùn)練數(shù)據(jù)，其實模型本身是一種產(chǎn)品，具有知識產(chǎn)權(quán)，最近有許多研究嘗試去偷這樣的產(chǎn)品，即模型竊取。模型竊取是利用模型的預(yù)測結(jié)果構(gòu)造一個與受害者模型相似的替代模型。攻擊者查詢黑盒模型API獲取預(yù)測結(jié)果，然后用此輸入輸出對訓(xùn)練pre-trained模型即可得到替代模型。模型竊取攻擊違背了知識產(chǎn)權(quán)，一方面攻擊者可以省去再次查詢API的費用，另一方面模型竊取也能作為實現(xiàn)其他對抗性攻擊比如對抗樣本攻擊的跨板。這類攻擊實際上是對于其他類型的攻擊，在整個攻擊的環(huán)境當(dāng)中，它可能會起到更加關(guān)鍵的作用。

回顧模型隱私的相關(guān)工作：基于不同的攻擊目標，不同的攻擊目標可分為模型反演，成員推理和模型竊取。其中模型竊取可以根據(jù)查詢樣本分為兩類，基于自然樣本以及基于合成樣本的攻擊。自然樣本是指直接從網(wǎng)上下載的公開數(shù)據(jù)集，比如imagenet。合成樣本比如對抗樣本。這個方向上，我們探索了模型隱私與數(shù)據(jù)隱私間的關(guān)系。例如我們發(fā)現(xiàn)利用模型反演攻擊獲得的數(shù)據(jù)能夠?qū)崿F(xiàn)效果更好的模型竊取攻擊。因為反演樣本和原始數(shù)據(jù)更為相近，從而大大增加了替代模型與目標模型的相似程度。具體步驟分為四步，第一步是建立初始替代模型，然后利用此時的替代模型選取高置信度樣本去構(gòu)建反演模型，之后輸入訓(xùn)練樣本的置信度到反演模型即可得到反演樣本，最后利用反演樣本去進行模型竊取。實驗顯示，在10k查詢樣本的情況下，inversenet就可以達到較高的相似程度，大于80%。在小query budget下，如10k，替代模型的相似度比最先進的baseline (Activethief)替代模型的相似度高22%。

部署階段

最后，我們研究了關(guān)于系統(tǒng)可用性的問題，即如何授權(quán)合法的用戶使用智能系統(tǒng)。整個數(shù)據(jù)流轉(zhuǎn)在AI系統(tǒng)的生命周期中，最后一個是模型的部署階段。在此階段，也包含許多安全問題，但我們的focus在身份認證。隨AI系統(tǒng)越來越智能化，身份認證的方案也越來越智能化，大多采用基于生物特征的方案來進入智能系統(tǒng)中使用，這就是防控智能的過程。在此，我們集中考慮的是基于生物特征的身份認證方案。要進入現(xiàn)有的語音識別系統(tǒng)、人臉識別系統(tǒng)的，需經(jīng)過身份認證，此身份認證需涉及多種方案。例如生物特征的方案，包括基于虹膜的、基于指紋的、基于語音的、基于人臉的，我們在此方向也做了大量工作。

總 結(jié)

在AI智能系統(tǒng)安全的方向上，我們針對AI系統(tǒng)數(shù)據(jù)流轉(zhuǎn)的整個過程、全生命周期做了大量工作，且已取得一些成果?；谏鲜龅慕榻B，我們認為未來的AI將是更安全的AI系統(tǒng)，未來安全的AI需思考以下四個問題，這也將是今后AI安全領(lǐng)域的幾個主要研究方向：

1）數(shù)據(jù)/模型隱私，其與模型的機密性與完整性相關(guān)，在數(shù)據(jù)流轉(zhuǎn)的全階段皆存在，因此如何保護數(shù)據(jù)和模型隱私是一個必須思考的問題。

2）魯棒性，其與模型的機密性、完整性、可用性皆相關(guān)，在數(shù)據(jù)流轉(zhuǎn)的全階段皆存在，因此我們考慮如何建立更加魯棒且更強安全保障的學(xué)習(xí)系統(tǒng)？

3）可解釋性，其與模型的可用性緊密相關(guān)，存在于二、三階段，由于目前對可解釋性的研究缺乏，因此我們需要認識：為什么模型會做此類決策？

4）AI與安全，其與模型的機密性、完整性、可用性皆相關(guān)，在數(shù)據(jù)流轉(zhuǎn)的全階段皆存在，因此我們需要認識：理解安全對于智能系統(tǒng)意味著什么？

以上是我們未來需要去考慮的四個方向上的關(guān)鍵問題，是我們對智能系統(tǒng)數(shù)據(jù)安全的一個分享，謝謝大家。

ABOUT US

IEEE

作為全球最大的專業(yè)技術(shù)組織，IEEE在全球160多個國家和地區(qū)共有超40萬名會員，其中學(xué)生會員超12萬。

在電氣及電子工程、計算機等其他技術(shù)領(lǐng)域中，IEEE出版了近三分之一的技術(shù)文獻，其中包括每年出版的200本期刊和雜志，IEEE Xplore數(shù)字圖書館文獻已超過500萬篇。IEEE每年在全球舉辦超過1900個會議，會議成為了IEEE會員參與活動的重要形式，豐富和滿足了會員的生活。IEEE 標準協(xié)會是世界領(lǐng)先的標準制定機構(gòu)，并日益成為新興技術(shù)領(lǐng)域標準的核心來源，其標準制定內(nèi)容涵蓋信息技術(shù)、通信、電力和能源等多個領(lǐng)域。如眾所周知的IEEE 802有線與無線的網(wǎng)絡(luò)通信標準和人工智能系統(tǒng)–IEEE 7000 標準解決了人工智能系統(tǒng)中的個人數(shù)據(jù)保護和安全保證的問題。

IEEE積極搭建開放共享的國際合作舞臺，開展學(xué)術(shù)及科技交流活動，發(fā)展不同的科技和學(xué)術(shù)平臺，希望可以充分發(fā)揮學(xué)會會員的協(xié)同效應(yīng)，建立活躍的學(xué)術(shù)和技術(shù)創(chuàng)新生態(tài)，助力下一代專業(yè)技術(shù)人員的發(fā)展與壯大。

ATEC

ATEC（Advanced Technology Exploration Community）前沿科技探索社區(qū)是由螞蟻集團聯(lián)合多所知名高校共同創(chuàng)立的技術(shù)實踐發(fā)展社區(qū)。社區(qū)致力于搭建系列產(chǎn)研合作平臺，推動創(chuàng)新技術(shù)的產(chǎn)業(yè)應(yīng)用研究，支持應(yīng)用型技術(shù)人才培養(yǎng)，傳播積極奮進的程序員/工程師文化。 借助與多所知名高校專家學(xué)者的深度合作，ATEC科技社區(qū)創(chuàng)立并持續(xù)運營“ATEC科技精英賽”項目。與業(yè)內(nèi)常規(guī)的大賽不同，ATEC科技精英賽通過緊扣社會價值的命題設(shè)計、貼近真實環(huán)境比賽環(huán)境搭建，目標考察選手及其團隊成員間的綜合性命題解決能力。而大賽同期錄制的業(yè)內(nèi)首檔代碼競技真人秀《燃燒吧！天才程序員》，則將全景呈現(xiàn)比賽過程中青年科技選手間的競爭與合作、隱忍與反擊，真實展現(xiàn)中國年輕一代科技從業(yè)者奮發(fā)向上的精神和動力。 除ATEC科技精英賽外，ATEC科技社區(qū)積極推動著ATEC沙龍、ATEC實訓(xùn)平臺等多個產(chǎn)研合作項目，踐行“助力數(shù)字化發(fā)展”、“科技服務(wù)社會”的發(fā)展理念。

審核編輯 ：李倩