人工智能安全專家Dawn Song警告稱，“對(duì)抗性機(jī)器學(xué)習(xí)”可用于逆向工程系統(tǒng) – 包括用于防御的系統(tǒng)。

這是來自加州大學(xué)伯克利分校的教授Dawn Song的警告，他專門研究人工智能和機(jī)器學(xué)習(xí)所涉及的安全風(fēng)險(xiǎn)。

在麻省理工學(xué)院技術(shù)評(píng)論團(tuán)在舊金山舉辦的EmTech Digital演講中，Song警告說，探測(cè)和操縱機(jī)器學(xué)習(xí)系統(tǒng)的新技術(shù) – 在該領(lǐng)域被稱為“對(duì)抗機(jī)器學(xué)習(xí)”方法 – 可能會(huì)給任何想要的人造成大問題。在商業(yè)中利用AI的力量。

宋說，對(duì)抗機(jī)器學(xué)習(xí)可以用來攻擊任何基于該技術(shù)的系統(tǒng)。

“這是一個(gè)大問題，”她告訴觀眾。 “我們需要齊心協(xié)力解決問題。”

對(duì)抗性機(jī)器學(xué)習(xí)涉及實(shí)驗(yàn)性地將輸入饋送到算法中以揭示其已經(jīng)訓(xùn)練的信息，或者以導(dǎo)致系統(tǒng)行為不當(dāng)?shù)姆绞脚で斎?。例如，通過將大量圖像輸入到計(jì)算機(jī)視覺算法中，可以對(duì)其功能進(jìn)行逆向工程并確保某些類型的輸出，包括不正確的輸出。

宋提出了她的研究小組探討的幾個(gè)對(duì)抗學(xué)習(xí)技巧的例子。

與谷歌合作開展的一個(gè)項(xiàng)目涉及探測(cè)機(jī)器學(xué)習(xí)算法，這些算法經(jīng)過培訓(xùn)，可以從電子郵件消息中生成自動(dòng)響應(yīng)（在本例中為安然電子郵件數(shù)據(jù)集）。努力表明，通過創(chuàng)建正確的消息，可以讓機(jī)器模型吐出敏感數(shù)據(jù)，如信用卡號(hào)。谷歌使用這些調(diào)查結(jié)果阻止Smart Compose（一種在Gmail中自動(dòng)生成文本的工具）被利用。

另一個(gè)項(xiàng)目涉及用一些看似無害的貼紙修改道路標(biāo)志，以欺騙許多車輛中使用的計(jì)算機(jī)視覺系統(tǒng)。在視頻演示中，Song展示了汽車如何被欺騙，以為停車標(biāo)志實(shí)際上說速度限制是每小時(shí)45英里。對(duì)于依賴于此類信息的自動(dòng)駕駛系統(tǒng)而言，這可能是一個(gè)巨大的問題。

對(duì)抗機(jī)器學(xué)習(xí)是機(jī)器學(xué)習(xí)研究人員日益關(guān)注的領(lǐng)域。在過去幾年中，其他研究小組已經(jīng)展示了如何探索和利用在線機(jī)器學(xué)習(xí)API來設(shè)計(jì)欺騙它們或揭示敏感信息的方法。

不出所料，對(duì)抗性機(jī)器學(xué)習(xí)對(duì)國(guó)防界也非常感興趣。隨著越來越多的軍事系統(tǒng) – 包括傳感和武器系統(tǒng) – 利用機(jī)器學(xué)習(xí)，這些技術(shù)在防御性和進(jìn)攻性方面都有巨大的潛力。

今年，五角大樓的研究機(jī)構(gòu)DARPA啟動(dòng)了一項(xiàng)名為“保證人工智能反對(duì)欺騙行為（GARD）”的重大項(xiàng)目，旨在研究對(duì)抗機(jī)器學(xué)習(xí)。 GARD項(xiàng)目主任Hava Siegelmann最近告訴麻省理工學(xué)院技術(shù)評(píng)論，該項(xiàng)目的目標(biāo)是開發(fā)面對(duì)各種對(duì)抗性攻擊時(shí)強(qiáng)大的AI模型，而不是簡(jiǎn)單地能夠抵御特定的攻擊。