導(dǎo)讀

新功能不是免費(fèi)的。

我們生活在一個(gè)瘋狂的時(shí)代。我記得當(dāng)我還是個(gè)孩子的時(shí)候，我在看《星球大戰(zhàn)》的時(shí)候，我在想，要過多久我們的廚房里才會(huì)有會(huì)說話的機(jī)器人。事實(shí)證明，這段時(shí)間并不長(zhǎng)。實(shí)際上不到 10 年。

人工智能，更具體地說，是機(jī)器學(xué)習(xí)將科幻小說變成了現(xiàn)實(shí) —— 沒有其他的方式來表達(dá)它。每次我瀏覽技術(shù)評(píng)論或 TechCrunch 時(shí)，我都被我們現(xiàn)在可以“隨意”做的事情所震撼。

透視墻壁？很容易。通過視頻猜測(cè)材料的物理性質(zhì)？實(shí)現(xiàn)了。從鍵盤聲音預(yù)測(cè)按了哪個(gè)鍵？如何生成逼真的面孔、身體或詩(shī)歌？或者教機(jī)器畫畫？或者教機(jī)器打《星際爭(zhēng)霸》游戲？

還有，你見沒見過這種東西在街上晃來晃去？

瘋狂。

現(xiàn)在，如果你真的去和 AI/ML 領(lǐng)域工作的人聊一聊，你可能會(huì)得到兩種回答中的一種。要么對(duì)于 AI 可以做什么和下一個(gè)大的愿景/ NLP /強(qiáng)化學(xué)習(xí)問題超級(jí)興奮，要么他們對(duì)我們這些愚蠢的人類構(gòu)件的人工智能非?？謶?，相信不久人工總體智會(huì)將人類轉(zhuǎn)化為一個(gè)無(wú)用的東西。在我看來，這就像今天社區(qū)的普遍分裂 —— 50%的人認(rèn)為人工智能是我們的未來，50%的人認(rèn)為它是我們的末日。

關(guān)于人工智能和機(jī)器學(xué)習(xí)是什么，我想提供第三種觀點(diǎn) —— 或許是一種更世俗的觀點(diǎn)：為對(duì)手提供一個(gè)新的攻擊面。

讓我們探索一下。

新發(fā)明的黑暗面

每當(dāng)一項(xiàng)新發(fā)明出現(xiàn)時(shí)，大多數(shù)人都傾向于認(rèn)為這項(xiàng)發(fā)明帶來了新的驚人的能力。但是，哪里有光明，哪里就會(huì)有陰影，因此新功能不經(jīng)意間就會(huì)帶來新的“漏洞”，供黑客利用。然后利用它們。

讓我們上一節(jié)歷史課，重訪 PC 市場(chǎng)。第一臺(tái)個(gè)人電腦(Altair 8800)于 1975 年發(fā)布，隨后在接下來的 10 年里進(jìn)行了一系列的創(chuàng)新，最終在 1984 年推出了 Apple Macintosh。隨之而來的是一波爆炸性的采用浪潮，在整個(gè) 90 年代一直持續(xù)到 2000 年：

然而，大多數(shù)用戶并不知道，在惡意軟件或“惡意軟件”市場(chǎng)也發(fā)生了類似的爆炸。

1989 年，Robert Morris 嘗試使用 Unix sendmail，并構(gòu)建了一個(gè)可以自我復(fù)制的蠕蟲，然后將其發(fā)送到 internet 上。一開始只是一個(gè)簡(jiǎn)單的實(shí)驗(yàn)，結(jié)果變成了第一次 DoS 攻擊，造成的損失估計(jì)在 10 萬(wàn)到 1000 萬(wàn)美元之間，并使整個(gè)互聯(lián)網(wǎng)慢了好幾天(當(dāng)然現(xiàn)在是不可想象的)。隨后，1989 年發(fā)生了第一次勒索軟件攻擊，1996 年出現(xiàn)了第一個(gè) Linux 病毒(“Staog”)，1998 年出現(xiàn)了第一個(gè) AOL 木馬。

后來，同樣的事情也發(fā)生在移動(dòng)領(lǐng)域：2007 年的 iPhone 時(shí)刻，隨之而來的是智能手機(jī)的爆炸式增長(zhǎng):

緊隨其后的是手機(jī)惡意軟件的爆炸式增長(zhǎng)：

那么，機(jī)器學(xué)習(xí)呢？

盡管如此，機(jī)器學(xué)習(xí)的產(chǎn)品化仍處于萌芽階段。許多真正前沿的工作仍然局限于研究實(shí)驗(yàn)室和大學(xué) —— 但即使是研究，我們也可以開始看到一些相同的趨勢(shì)出現(xiàn)。

機(jī)器學(xué)習(xí)研究論文按年份和地區(qū)分類：

…vs對(duì)抗機(jī)器學(xué)習(xí)(ML 的惡意軟件版本)研究論文計(jì)數(shù)：

事情正在發(fā)生。開始恐慌了嗎？

安全問題

還沒有那么快。好消息是，隨著個(gè)人電腦占據(jù)了我們的日常生活，黑客開始入侵，另一個(gè)與之并行的市場(chǎng)開始發(fā)展 ——安全解決方案市場(chǎng)。

1987 年，Andreas Luning 和 Kai Figge 為 Atari ST 平臺(tái)開發(fā)了第一個(gè)抗病毒產(chǎn)品。同年，McAffee、NOD、Flu Shot 和 Anti4us 都出生了 —— 在接下來的 20 年里，更多的安全類產(chǎn)品誕生了：

很快，VCs 就意識(shí)到了大型網(wǎng)絡(luò)安全將會(huì)發(fā)生什么，資本將開始流動(dòng):

Kleiner Perkins 對(duì) Symantec 投資 3M

McAffee 從 Summit Partners 拿到了融資

BitDefender 融資 7 百萬(wàn)美元

數(shù)百萬(wàn)美元的收購(gòu)：

McAffee700 萬(wàn)美元買了 solomon

Symantec 同意以 787.8 億美元購(gòu)買 Axent

微軟從 GeCAD 軟件中獲取殺毒技術(shù)

隨著手機(jī)惡意軟件的快速增長(zhǎng)，安全玩家也出現(xiàn)了類似的爆炸式增長(zhǎng)：

安全鄰域的融資：

Bluebox 從 Andreessen Horowitz 融資$9.5M

France Telecom 對(duì) Lookout 投資達(dá)到$20M

Zimperium 在移動(dòng)安全領(lǐng)域融資$8M

安全領(lǐng)域的收購(gòu):

移動(dòng)安全初創(chuàng)公司被 Rapid7 收購(gòu)

Apple 以$356M 購(gòu)買了三星安卓安全合作伙伴

AVG 以$220M 購(gòu)買了移動(dòng)安全公司 Location Labs

那么機(jī)器學(xué)習(xí)呢？

機(jī)器學(xué)習(xí)需要安全嗎？

在過去的某個(gè)時(shí)候，我曾為英國(guó)最大的金融科技公司之一進(jìn)行過反欺詐和反洗錢工作。我的團(tuán)隊(duì)每年監(jiān)管的交易額超過 100 億美元，我們一直在努力阻止騙子進(jìn)入 GC 的循環(huán)系統(tǒng)。很自然地——在某種程度上，我們屈服于這種炒作，決定嘗試機(jī)器學(xué)習(xí)。

令我當(dāng)時(shí)感到驚訝的是，它居然奏效了。事實(shí)上，它很有效。從傳統(tǒng)的啟發(fā)式，我們?cè)O(shè)法減少了 80%的金錢損失到欺詐和提高了 20 倍的檢測(cè)可疑的帳戶洗錢。

只有一個(gè)問題。

我們?cè)谖艺J(rèn)為“關(guān)鍵”的能力上部署了機(jī)器學(xué)習(xí)。我們給了這個(gè)算法一項(xiàng)任務(wù)，但這項(xiàng)任務(wù)不允許它失敗——如果失敗了—— 我們要么損失大量金錢，要么被吊銷金融執(zhí)照。對(duì)我這個(gè)直接負(fù)責(zé) GC 安全的產(chǎn)品經(jīng)理來說，這兩者聽起來都不是什么好事。

所以我需要知道 ML 如何以及何時(shí)會(huì)失敗。如何利用我們的模式？它內(nèi)在的弱點(diǎn)在哪里？我如何知道 GoCardless 是否受到攻擊？

在花了太多的夜晚閱讀 ML 的文件和在暗網(wǎng)上尋找之后，我終于找到了我所尋找的。我在 ML 上了解到中毒攻擊，攻擊者可以通過在訓(xùn)練中注入損壞的數(shù)據(jù)來影響模型的思維。我發(fā)現(xiàn)了對(duì)抗性的例子，以及在測(cè)試時(shí)模型是如何容易被精心設(shè)計(jì)的擾動(dòng)的輸入誤導(dǎo)的。最后，我了解到隱私攻擊，底層數(shù)據(jù)和模型本身都不是真正的私有。

然后，我發(fā)現(xiàn)了這個(gè)……

我嚇壞了。

到 2019 年底，1/3 的企業(yè)都將部署機(jī)器學(xué)習(xí)。這是你、我、我們的朋友和親人每天使用的所有產(chǎn)品的三分之一 —— 在任何知道 ML 工作原理的攻擊者面前全裸。

是的，機(jī)器學(xué)習(xí)需要安全。

邁出第一步

ML 安全是一個(gè)非常新興的領(lǐng)域 —— 到今天基本上還不存在。如果說我從上面的研究中學(xué)到了什么，那就是任何沒有數(shù)學(xué)博士學(xué)位的人都很難弄清楚如何保證他們的 ML 的安全(現(xiàn)在幾乎沒有解決方案，只有大量的數(shù)學(xué)研究論文)。

考慮到我們的生活中有多少是要托付給算法的 —— 我認(rèn)為這是我們的責(zé)任 —— 你、我和整個(gè) ML 社區(qū)的責(zé)任是確保安全不被拋在腦后。今天有很多我們可以做的來構(gòu)建更健壯的 ML 模型 —— 正如我解釋我的帖子逃稅，中毒和隱私攻擊。但更重要的是，我們需要轉(zhuǎn)變思維模式——從“不惜一切代價(jià)的準(zhǔn)確性”轉(zhuǎn)向更平衡的準(zhǔn)確性與穩(wěn)健性：

C1和C2是兩個(gè)模型。很明顯，C1一開始并不是很準(zhǔn)確，但是隨著攻擊強(qiáng)度的增加，它在抵抗攻擊方面也做得更好。你選擇C1還是C2作為ML模型？

這篇文章和上面的文章是我嘗試邁出的第一步，邁向一個(gè)更健壯的 ML 未來。確保每個(gè)人的安全。