隨著社會(huì)系統(tǒng)和數(shù)據(jù)量的飛躍性增加，人工智能的工程系統(tǒng)越來(lái)越普遍與復(fù)雜，傳統(tǒng)系統(tǒng)工程TSE（Traditional Systems Engineering）越來(lái)越難以應(yīng)對(duì)，以模型化與定理化為代表的人工智能技術(shù)和人工智能軟件工程學(xué)也在快速地發(fā)展。

與此同時(shí)，人工智能對(duì)傳統(tǒng)計(jì)算機(jī)安全領(lǐng)域的研究也產(chǎn)生了重大影響，除了利用人工智能來(lái)構(gòu)建各種惡意檢測(cè)、攻擊識(shí)別系統(tǒng)外，黑客也可能利用人工智能達(dá)到更快速與更精準(zhǔn)的攻擊。除此之外，在關(guān)鍵的人工智能應(yīng)用場(chǎng)景上，人工智能自身的安全性變得前所未有的重要，極需要構(gòu)建一個(gè)不會(huì)被外界干擾而影響判斷的、可解釋的、健壯的人工智能系統(tǒng)。隨著量子計(jì)算時(shí)代的到來(lái)，信息系統(tǒng)的安全也將遇到前所未有的挑戰(zhàn)。

本系列分6個(gè)部分概要說(shuō)明從智能系統(tǒng)的安全要素，以及深蘭科技在作為后量子時(shí)代的國(guó)家戰(zhàn)略科技儲(chǔ)備的超同態(tài)加密算法以及超同態(tài)加密計(jì)算芯片的研究與開(kāi)發(fā)。

1． 智能系統(tǒng)的安全要素

2． 人工智能系統(tǒng)安全的課題與技術(shù)框架

3． 數(shù)字貨幣與區(qū)塊鏈

4． 量子計(jì)算

5． 同態(tài)加密

6． 超同態(tài)加密

人工智能系統(tǒng)的

課題與技術(shù)框架

安全是典型的信息化軍備競(jìng)賽，它通過(guò)抵御一系列已知和已發(fā)覺(jué)的威脅來(lái)保護(hù)系統(tǒng)和軟件。由于可以通過(guò)創(chuàng)建漏洞，利用程序來(lái)繞過(guò)這些保護(hù)措施，促使了系統(tǒng)和軟件企業(yè)不斷提高這類技術(shù)。而AI可幫助終止這種惡性循環(huán)，它不僅可以應(yīng)對(duì)現(xiàn)有的威脅，還可以應(yīng)對(duì)尚未被發(fā)覺(jué)的新威脅，這就是AI與安全領(lǐng)域產(chǎn)生交集的地方。AI將從根本上改進(jìn)所有的安全類解決方案。

AI巨大的潛能在改變著人類命運(yùn)，但同樣存在巨大的安全風(fēng)險(xiǎn)。這種安全風(fēng)險(xiǎn)存在的根本原因是：AI算法設(shè)計(jì)之初普遍未考慮相關(guān)的安全威脅，使得其判斷結(jié)果容易被惡意攻擊者影響，導(dǎo)致AI系統(tǒng)判斷失誤。在工業(yè)、醫(yī)療、交通、監(jiān)控等關(guān)鍵領(lǐng)域，安全危害尤為巨大。如果AI系統(tǒng)被惡意攻擊，輕則造成財(cái)產(chǎn)損失，重則威脅人身安全。

AI安全風(fēng)險(xiǎn)不僅僅存在于理論分析，并且真實(shí)地存在于目前各種AI應(yīng)用中。在現(xiàn)在和未來(lái)將被用于的很多關(guān)鍵領(lǐng)域中，我們創(chuàng)造了很多強(qiáng)大的技術(shù)。以安全為中心的設(shè)計(jì)思維不僅在研發(fā)和部署的時(shí)候，更在AI被大規(guī)模應(yīng)用的時(shí)候，有著極為重要的影響。當(dāng)算法被不可逆地整合到重要的系統(tǒng)中時(shí)，如果沒(méi)有嚴(yán)謹(jǐn)與完整的設(shè)計(jì)，系統(tǒng)就無(wú)法有效地處理其中存在的問(wèn)題。

AI系統(tǒng)在設(shè)計(jì)上面臨5大安全挑戰(zhàn)：

1． 軟硬件安全：在軟件及硬件層面（應(yīng)用、模型、平臺(tái)和芯片、編碼等的漏洞或后門）攻擊者能夠利用這些漏洞或后門實(shí)施高級(jí)攻擊。在AI模型層面上，攻擊者同樣可能在模型中植入后門并實(shí)施高級(jí)攻擊。如果AI模型的可解釋性較差，在模型中植入的惡意后門難以被檢測(cè)。

2． 數(shù)據(jù)完整性：在數(shù)據(jù)層面，攻擊者能夠在訓(xùn)練階段摻入惡意或虛假的數(shù)據(jù)，降低AI模型推理能力；攻擊者同樣可以在判斷階段對(duì)要判斷的樣本加入少量噪音（對(duì)抗樣本）來(lái)改變判斷結(jié)果。

3． 模型保密性：在模型參數(shù)層面，通過(guò)多次查詢，攻擊者能夠構(gòu)建出一個(gè)相似的模型，進(jìn)而破譯模型。

4． 模型魯棒性：訓(xùn)練模型時(shí)的樣本往往覆蓋性不足，使得模型魯棒性不強(qiáng)（缺乏必要的功能安全）；模型面對(duì)惡意樣本時(shí)，無(wú)法給出正確的判斷結(jié)果。

5． 數(shù)據(jù)隱私：在用戶提供訓(xùn)練數(shù)據(jù)的場(chǎng)景下，攻擊者能夠通過(guò)反復(fù)查詢預(yù)測(cè)模型并推算出隱私信息。

現(xiàn)在我們盡量通過(guò)詳盡與周全的設(shè)計(jì)與思考，避免了類似問(wèn)題和弱點(diǎn)的出現(xiàn)，并希望能夠構(gòu)建起解決安全課題的有效技術(shù)框架，在設(shè)計(jì)和研發(fā)系統(tǒng)時(shí)有效地避免安全問(wèn)題。希望未來(lái)的系統(tǒng)不僅僅是“看起來(lái)很安全”，更是具有魯棒性與基于可解釋人工智能（XAI）可驗(yàn)證性的安全。

責(zé)任編輯：gt