作者 |付海濤上?？匕部尚跑浖?chuàng)新研究院汽車網(wǎng)絡(luò)安全組

來(lái)源 |鑒源實(shí)驗(yàn)室

社群 |添加微信號(hào)“TICPShanghai”加入“上?？匕?1fusa安全社區(qū)”

01

自動(dòng)駕駛汽車的脆弱性

自2015年以來(lái)，汽車的信息安全問題受到國(guó)內(nèi)外的廣泛關(guān)注。而隨著汽車的智能化與網(wǎng)聯(lián)化的進(jìn)程，汽車搭載了更多ECU、軟件與傳感器，這些ECU、軟件與傳感器無(wú)疑賦能了智能網(wǎng)聯(lián)汽車，但同時(shí)也為汽車帶來(lái)了更多的信息安全問題。而對(duì)于現(xiàn)今的自動(dòng)駕駛汽車來(lái)說，由于傳感器的增加和感知網(wǎng)絡(luò)等軟件的存在，使得自動(dòng)駕駛汽車在信息安全上相較于其它汽車更為脆弱。自動(dòng)駕駛汽車信息安全的脆弱性來(lái)源于兩個(gè)方面：傳感器的脆弱性和神經(jīng)網(wǎng)絡(luò)的脆弱性。

傳感器的脆弱性使得汽車在不同的場(chǎng)景或是極端條件下難以正常工作，使得黑客可以利用傳感器的脆弱性對(duì)自動(dòng)駕駛汽車進(jìn)行攻擊。比如在暗處突然對(duì)攝像頭使用強(qiáng)光進(jìn)行照射使攝像頭過曝，向GNSS傳感器發(fā)送虛假的GNSS信號(hào)從而影響自動(dòng)駕駛汽車的決策。不少?gòu)S家或機(jī)構(gòu)注意到傳感器的脆弱性可能會(huì)阻礙自動(dòng)駕駛汽車的進(jìn)一步發(fā)展，推出了各種產(chǎn)品和標(biāo)準(zhǔn)來(lái)加固傳感器的脆弱之處，如著名的鏡頭商索尼推出的索尼汽車用 CMOS 圖像傳感器使得攝像頭即使在面對(duì)亮度變化較大的情況依舊可以表現(xiàn)良好[1]，如歐洲標(biāo)準(zhǔn)委員會(huì)提出的GNSS信息安全測(cè)試的標(biāo)準(zhǔn)[2]。

神經(jīng)網(wǎng)絡(luò)的脆弱性使得自動(dòng)駕駛汽車的識(shí)別結(jié)果不再可信，從而導(dǎo)致自動(dòng)駕駛汽車做出預(yù)期之外的行為。2014年，Szegedy等的研究指出，在待識(shí)別圖片中巧妙地加入一定的噪聲，會(huì)使得圖像被神經(jīng)網(wǎng)絡(luò)誤分類[3]。Szegedy等的研究揭示了神經(jīng)網(wǎng)絡(luò)的脆弱性，使得神經(jīng)網(wǎng)絡(luò)的攻擊方法成為了近年來(lái)深度學(xué)習(xí)的研究熱點(diǎn)之一，而后多種神經(jīng)網(wǎng)絡(luò)的攻擊方法和防御方法被相繼提出，包括但不限于：在圖像輸入至神經(jīng)網(wǎng)絡(luò)前先對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行平滑，使用生成的攻擊樣本（advisal image，又稱對(duì)抗圖像）進(jìn)行訓(xùn)練，關(guān)閉在識(shí)別正常圖像過程中沒有被激活的神經(jīng)元等。但神經(jīng)網(wǎng)絡(luò)的防御方法的發(fā)現(xiàn)往往會(huì)滯后于[a1]攻擊方法的出現(xiàn)，因此使得神經(jīng)網(wǎng)絡(luò)的脆弱性一直處于沒有處理的狀態(tài)。

自動(dòng)駕駛汽車的感知模塊恰恰包含這兩個(gè)部分，因此我們嘗試從這兩個(gè)方面著手，探討自動(dòng)駕駛汽車的攻擊方法?？紤]到攝像頭的泛用性，我們將攝像頭和神經(jīng)網(wǎng)絡(luò)作為研究對(duì)象，研究如何通過攝像頭和神經(jīng)網(wǎng)絡(luò)攻擊自動(dòng)駕駛汽車。

02

如何通過攝像頭和神經(jīng)網(wǎng)絡(luò)攻擊自動(dòng)駕駛汽車

目前，對(duì)于自動(dòng)駕駛汽車的卷積神經(jīng)存在多種攻擊算法，但是鮮有研究對(duì)實(shí)際的攻擊實(shí)施方案進(jìn)行研究。本文不對(duì)攻擊的算法做出具體的介紹，而是著重對(duì)攻擊的可行方式進(jìn)行探討。我們從對(duì)二維感知模塊進(jìn)行攻擊的可行路徑進(jìn)行分類，可將對(duì)二維感知模塊的卷積網(wǎng)絡(luò)的可行攻擊方案分為三類：（1）通過車載網(wǎng)絡(luò)進(jìn)行攻擊；（2）通過二維感知網(wǎng)絡(luò)后門進(jìn)行攻擊；（3）通過攝像頭拍攝的畫面進(jìn)行物理攻擊。接下來(lái)，按照這三種分類對(duì)自動(dòng)駕駛二維感知網(wǎng)絡(luò)可能的攻擊方法的可行方法和可行性進(jìn)行探討。

2.1 通過車載網(wǎng)絡(luò)進(jìn)行攻擊

通過車載網(wǎng)絡(luò)進(jìn)行攻擊的流程如圖1所示，攻擊基本可以分為以下幾步：

（1）攻擊者滲透進(jìn)入車聯(lián)網(wǎng)內(nèi)部；

（2）攻擊者獲取二維感知模塊訪問權(quán)限；

（3）通過二維感知模塊的進(jìn)行多次查詢生成對(duì)抗性擾動(dòng)；

（4）將對(duì)抗性擾動(dòng)注入到攝像頭中；

（5）成功攻擊。

通過車載網(wǎng)絡(luò)進(jìn)行攻擊的方法除了要求攻擊者擁有專業(yè)的滲透知識(shí)和經(jīng)驗(yàn)，還要求攻擊者對(duì)待攻擊車輛的內(nèi)部電子電氣架構(gòu)有一定的了解。因?yàn)椴煌能囆偷碾娮与娖骷軜?gòu)不同，導(dǎo)致對(duì)二維感知模塊進(jìn)行注入攻擊的攻擊路徑也不同，如2015年安全研究人員Charlie Miller和Chris Valasek是通過“音頻系統(tǒng)->CAN（Controller Area Network）總線->感知模塊”的攻擊路徑對(duì)Jeep車輛的進(jìn)行了攻擊[4]，2016年安全研究人員Damon McCoy和Hisakazu Torii則是通過wifi入侵了汽車網(wǎng)絡(luò)完成了攻擊[5]。通過車載網(wǎng)絡(luò)進(jìn)行攻擊的方案不存在通用的攻擊方案且對(duì)攻擊者有一定的專業(yè)背景要求，從實(shí)際實(shí)施上具有一定的難度。相應(yīng)地，通過車載網(wǎng)絡(luò)直接對(duì)二維感知模塊進(jìn)行攻擊相比于物理攻擊對(duì)二維感知模塊造成的危害更為直接有效，如直接使得攝像頭畫面丟失使得二維感知網(wǎng)絡(luò)無(wú)法進(jìn)行二維感知。但同時(shí)這種直接有效的攻擊不具有隱蔽性，很容易被安全測(cè)試人員排查得出并且對(duì)漏洞進(jìn)行修復(fù)?？紤]到這一點(diǎn)，可以使用更為隱蔽的對(duì)抗性攻擊對(duì)二維感知網(wǎng)絡(luò)進(jìn)行攻擊，如使用FGSM生成對(duì)抗性擾動(dòng)噪聲，這些噪聲非常細(xì)微使得人眼難以察覺到，能夠?qū)Π踩藛T進(jìn)行漏洞修復(fù)起到一定的阻礙作用，相比于直接使得攝像頭畫面丟失的攻擊更為有效。但這些隱蔽的對(duì)抗性噪聲同時(shí)也容易通過平滑進(jìn)行防御。因此最為有效的方法是使用一些具有一定隱蔽性且不容易被平滑的噪聲，如光點(diǎn)[6]等。

圖1 通過車載網(wǎng)絡(luò)進(jìn)行攻擊

總的來(lái)說，通過車載網(wǎng)絡(luò)進(jìn)行攻擊的攻擊方式對(duì)攻擊人員的要求高且實(shí)施較為困難，使得攻擊的成本較大。另外通過車載網(wǎng)絡(luò)進(jìn)行攻擊十分有效且攻擊的具體方法十分多樣，但這種攻擊的攻擊路徑較為單一，因此在防范時(shí)只要能使得攻擊者無(wú)法通過攻擊路徑訪問到二維感知模塊的有關(guān)資產(chǎn)即可。

2.2通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行后門攻擊

卷積神經(jīng)網(wǎng)絡(luò)的后門攻擊指的是攻擊者通過訓(xùn)練樣本在二維感知網(wǎng)絡(luò)中植入后門，使得卷積神經(jīng)網(wǎng)絡(luò)在對(duì)目標(biāo)進(jìn)行識(shí)別時(shí)對(duì)于不帶有后門的樣本能夠正確識(shí)別，而對(duì)于帶有后門的樣本誤識(shí)別。

通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行后門攻擊的基本路徑如圖2所示，攻擊可以分為以下幾個(gè)步驟：

（1）攻擊者獲取訓(xùn)練數(shù)據(jù)集的修改權(quán)限，并把植入后門的樣本置入模型的待訓(xùn)練樣本庫(kù)中；

（2）攻擊者等待卷積神經(jīng)訓(xùn)練完成；

（3）攻擊者在物理空間或是攝像頭信號(hào)中植入對(duì)抗性擾動(dòng)；

（4）攻擊成功。

圖2 通過二維感知網(wǎng)絡(luò)進(jìn)行后門攻擊流程圖

通過卷積神經(jīng)網(wǎng)絡(luò)后門進(jìn)行攻擊的方法已在一些基于人工智能的應(yīng)用的滲透方案中被應(yīng)用，如黑客使用此種方法對(duì)Google的垃圾郵件垃圾分類系統(tǒng)進(jìn)行攻擊[7]。目前使用此種方法對(duì)二維感知網(wǎng)絡(luò)進(jìn)行攻擊存在訓(xùn)練前階段進(jìn)行和訓(xùn)練后階段進(jìn)行。對(duì)于自動(dòng)駕駛二維感知網(wǎng)絡(luò)的后門注入，則只能在訓(xùn)練階段進(jìn)行，因?yàn)樽詣?dòng)駕駛汽車的二維感知網(wǎng)絡(luò)在訓(xùn)練后參數(shù)不會(huì)因?yàn)橛脩舻牟樵兌隆?/p>

對(duì)于目前自動(dòng)駕駛汽車廠商來(lái)說，二維感知模塊的訓(xùn)練樣本來(lái)源存在以下兩種：（1）公共數(shù)據(jù)集；（2）第三方外包或是自建數(shù)據(jù)集。

（1）對(duì)于公共數(shù)據(jù)集，雖然攻擊者可以通過成為貢獻(xiàn)者進(jìn)行后門的注入，但一般來(lái)說公共數(shù)據(jù)集的樣本數(shù)量眾多，要做到讓樣本能夠?qū)W習(xí)到攻擊者注入的后門，攻擊者需要注入大量的帶后門數(shù)據(jù)或是對(duì)后門進(jìn)行一定的設(shè)計(jì)；

（2）對(duì)于第三方或是自建的數(shù)據(jù)集，攻擊者只能通過社會(huì)工程學(xué)的手段或是成為內(nèi)部人員進(jìn)行后門的注入。而對(duì)于后門的實(shí)際使用，既可以通過數(shù)字信號(hào)進(jìn)行也可以通過物理進(jìn)行。

總的來(lái)說，通過卷積神經(jīng)網(wǎng)絡(luò)后門進(jìn)行攻擊的方法對(duì)攻擊者有一定的專業(yè)背景要求和對(duì)數(shù)據(jù)集的權(quán)限要求，使得在實(shí)施上具有一定的難度。相較于通過車載網(wǎng)絡(luò)進(jìn)行攻擊和通過攝像頭進(jìn)行物理攻擊，在攻擊的路徑上更為多樣。但由于本身攻擊是通過在神經(jīng)網(wǎng)絡(luò)中注入后門進(jìn)行的，因此在防范時(shí)只要通過一些卷積神經(jīng)網(wǎng)絡(luò)后門檢測(cè)的方法如篩選識(shí)別正確樣本時(shí)未被激活的神經(jīng)元，對(duì)這些神經(jīng)元進(jìn)行修復(fù)即可。

2.3通過攝像頭進(jìn)行物理攻擊

除去通過車載網(wǎng)絡(luò)對(duì)進(jìn)行攻擊和通過神經(jīng)網(wǎng)絡(luò)后門進(jìn)行攻擊，另一個(gè)攻擊方式是通過攝像頭對(duì)二維感知網(wǎng)絡(luò)進(jìn)行攻擊，如使用強(qiáng)光照射攝像頭，對(duì)待識(shí)別目標(biāo)直接進(jìn)行遮擋等。但這種直接攻擊的方式在目前存在于自動(dòng)駕駛汽車的預(yù)期功能測(cè)試方案中，使得直接通過強(qiáng)光或是遮擋的方式進(jìn)行攻擊效果不佳。因此我們進(jìn)行探討時(shí)，使用對(duì)抗性擾動(dòng)作為攻擊的載體，來(lái)對(duì)攝像頭進(jìn)行物理攻擊。通過攝像頭進(jìn)行物理攻擊的攻擊方案如圖3所示。（1）攻擊者獲取二維感知網(wǎng)絡(luò)的訪問權(quán)限；（2）攻擊者通過擾動(dòng)生成算法生成對(duì)抗性擾動(dòng)；（3）攻擊者在物理世界重現(xiàn)對(duì)抗性擾動(dòng)；（4）攝像頭捕獲擾動(dòng)后的待識(shí)別目標(biāo)；（5）攻擊者成功攻擊待識(shí)別網(wǎng)絡(luò)。

圖3 通過攝像頭進(jìn)行物理攻擊

相比于通過車載網(wǎng)絡(luò)進(jìn)行攻擊的方式，使用攝像頭進(jìn)行物理攻擊的方式不需要專業(yè)人員的全程參與，在具有專業(yè)背景的攻擊人員完成對(duì)抗性擾動(dòng)的生成后，可由其它不具備專業(yè)背景的人員進(jìn)行實(shí)施攻擊，因此通過攝像頭對(duì)二維感知網(wǎng)絡(luò)進(jìn)行物理攻擊的實(shí)施難度相比于通過車載網(wǎng)絡(luò)進(jìn)行攻擊的實(shí)施難度低。同時(shí)，通過攝像頭進(jìn)行物理攻擊的方式相比于后門攻擊和通過車載網(wǎng)絡(luò)進(jìn)行攻擊更加難以防范：由于是直接通過“物理世界->攝像頭->二維感知信號(hào)->二維感知網(wǎng)絡(luò)”的攻擊鏈路進(jìn)行的攻擊，安全人員難以在保證攝像頭的功能安全的同時(shí)防范物理攻擊；另外，物理攻擊由于發(fā)生的地點(diǎn)對(duì)于安全人員來(lái)說具有不可預(yù)測(cè)性，使得對(duì)于物理攻擊的防范的難度更高。但物理攻擊的有效性會(huì)受到多種環(huán)境因素的影響，如使用陰影的Adv-Shadow[8]容易受到光照的影響，導(dǎo)致一些攻擊實(shí)施后成功率不如通過其它兩種方式進(jìn)行攻擊。

使用物理攻擊對(duì)二維感知網(wǎng)絡(luò)進(jìn)行攻擊的方法實(shí)施難度和攻擊成本較低，且有無(wú)物理攻擊是基于攝像頭的功能安全構(gòu)建的，使得此種攻擊難以防范。但通過物理攻擊進(jìn)行攻擊的成功率比后門攻擊和通過車載網(wǎng)絡(luò)進(jìn)行攻擊的成功率低。但由于攻擊發(fā)生的隨機(jī)性以及不可預(yù)見性使得此種攻擊難以被防范，且由于是通過二維感知網(wǎng)絡(luò)本身的缺陷進(jìn)行的攻擊，因此也難以在開發(fā)過程中被檢測(cè)出。

03

結(jié) 論

雖然存在著多種通過攝像頭對(duì)自動(dòng)駕駛汽車進(jìn)行攻擊的方式，但每種方式的時(shí)間成本和實(shí)施難度不同，需要更進(jìn)一步的實(shí)驗(yàn)或分析才能得出理論最佳的方式。但自動(dòng)駕駛汽車的脆弱性應(yīng)當(dāng)?shù)玫礁鲝S商廣泛關(guān)注，在自動(dòng)駕駛汽車的開發(fā)過程和神經(jīng)網(wǎng)絡(luò)的保密性上加強(qiáng)管理。

參考文獻(xiàn)：

[1]Sony. 索尼半導(dǎo)體將發(fā)布行業(yè)突破性*1的安防用CMOS圖像傳感器--同時(shí)實(shí)現(xiàn)捕捉圖像的全像素輸出和感興趣區(qū)域的高速輸出｜新聞稿｜Sony Semiconductor Solutions Group[EB/OL].[2023-10-18].https://www.sony-semicon.com/cn/news/2022/2022072001.html.

[2]EN 16803-3:2020 - Space - Use of GNSS-based positioning for road Intelligent Transport Systems (ITS) - Part 3: Assessment of security performances of GNSS-based positioning terminals[EB/OL]. [2023-10-18]. https://standards-iteh-ai.translate.goog/catalog/standards/cen/c8686c3b-c90f-472b-8869-ea82d3f76d52/en-16803-3-2020.

[3]Goodfellow I, Shlens J, Szegedy C. Explaining and Harnessing Adversarial Examples[J]. arXiv: Machine Learning, 2014.

[4]Miller C, Valasek C. Remote exploitation of an unaltered passenger vehicle[J]. Black Hat USA, 2015,2015(S 91):1-91.

[5]'Millions' of Volkswagen cars can be unlocked via hack[EB/OL]. [2023-10-23]. https://www.bbc.com/news/technology-37057689.

[6]Yufeng L I, Fengyu Y, Qi L, et al. Light can be Dangerous: Stealthy and Effective Physical-world Adversarial Attack by Spot Light[J]. Computers & Security, 2023:103345.

[7]Attacks against machine learning — an overview[EB/OL]. [2023-10-23]. https://elie.net/blog/ai/attacks-against-machine-learning-an-overview/.

[8]Zhong Y, Liu X, Zhai D, et al. Shadows can be dangerous: Stealthy and effective physical-world adversarial attack by natural phenomenon[C], 2022.

審核編輯 黃宇