A去年，美國食品藥品監(jiān)督管理局（FDA）批準了一種人工智能（AI）醫(yī)療設備上市，只需捕捉患者視網(wǎng)膜圖像，就能自動檢測是否有糖尿病性失明征兆。

如今，像這樣的新型AI技術正在醫(yī)療領域迅速蔓延?？茖W家們正積極開發(fā)著各種AI系統(tǒng)，能夠直接或是通過各種各樣的影像，幫助識別各類疾病的征兆。

越來越多的AI技術，可能是一把雙刃劍。圖據(jù)《紐約時報》

然而，據(jù)《紐約時報》3月21日報道，科學家們開始擔心，越來越多被應用到醫(yī)療保健服務中的AI技術，可能是一把雙刃劍。除了幫助醫(yī)生高效工作，它更有可能被蓄意操縱，導致誤診，以及其他更嚴重的后果。

微小的改動就能讓AI系統(tǒng)誤診

從識別肺部 X 光片到大腦CT掃描圖像……與過去相比，不斷涌現(xiàn)的AI系統(tǒng)能幫助醫(yī)生更有效、更低成本地去評估病人。

未來，這樣的AI系統(tǒng)將不僅僅在醫(yī)院被廣泛使用，還可能為醫(yī)療監(jiān)管機構、賬單服務公司和保險公司提供幫助。正如AI幫助醫(yī)生檢查病人的眼睛、肺部和其他身體器官一樣，它也能幫助保險公司確定賠付金額和保單費用。

理想的情況下，這些系統(tǒng)將有助于提高整個醫(yī)療體系的工作效率。然而，美國哈佛大學和麻省理工學院的一組研究人員警告稱，這些系統(tǒng)也可能會產(chǎn)生難以想象的嚴重后果。

3 月 21 日，在《科學》（Science）雜志上發(fā)表的一篇論文中，提出了“對抗性攻擊”（adversarial attacks）的可能性。

“對抗性攻擊”是指利用調整微小的數(shù)字數(shù)據(jù)，改變人工智能系統(tǒng)行為的操作。

在醫(yī)療人工智能和其他應用中，輸入的微小變化可能導致輸出的巨大變化。圖據(jù)《金融時報》

例如，修改肺部掃描影像的幾個像素，就能誤導AI系統(tǒng)，把沒病的判斷成有病，或者把有病的誤判成沒病。

在新發(fā)布的這篇論文中，研究人員證實，通過改變一幅良性皮膚病變圖像中的少量像素，就能欺騙一種診斷AI系統(tǒng)，導致其誤判病為惡性。他們還發(fā)現(xiàn)，通過簡單地旋轉影像，也能達到同樣的目的。

如果對病人病情的書面描述進行一些小的改動，也可改變人工智能的診斷：“酗酒”的診斷結果與“酒精依賴”的不同，“腰痛”和“背痛”的診斷結果也會有所區(qū)別。

利用對抗性攻擊獲利 最終受害者將是患者

隨著監(jiān)管機構、保險公司和醫(yī)療賬單服務公司開始在其軟件系統(tǒng)中使用AI技術，黑客可能入侵系統(tǒng)，導致病人誤診。更有可能發(fā)生的一種情況是，醫(yī)生、醫(yī)院和其他相關機構或將利用對抗性攻擊，操縱醫(yī)療賬單或保險軟件上的AI系統(tǒng)，想方設法獲得盡可能多的收益。

例如，如果保險公司使用AI評估醫(yī)學掃描影像，醫(yī)院可以通過修改掃描結果，以提高賠付金額。如果監(jiān)管機構建立了AI系統(tǒng)，用于評估新技術，設備制造商可以通過改變圖像和其他數(shù)據(jù)，以欺騙系統(tǒng)，獲得監(jiān)管部門的批準。

研究人員認為，一旦人工智能深深植根于醫(yī)療體系之中，各家企業(yè)將逐漸出現(xiàn)能為其帶來最大利潤的行為。而這其中的受害者，將是患者。

哈佛大學醫(yī)學院和麻省理工學院的研究人員塞繆爾·芬利森指出，如果醫(yī)生為了騙過保險公司的AI系統(tǒng)，以獲得更多利潤，對醫(yī)學掃描影像或病人的其他數(shù)據(jù)進行改動。而這些改動將出現(xiàn)在病人的永久記錄中，伴隨其終身，這將對病人未來的診斷產(chǎn)生影響。

相關機構或將利用對抗性攻擊，想方設法獲得盡可能多的收益。 圖據(jù)彭博社

這樣的情況并不只是一種假設或不必要的擔憂。事實上，由于整個醫(yī)療保健行業(yè)有大量的資金來往，一些醫(yī)生、醫(yī)院和其他組織已經(jīng)出現(xiàn)了操控軟件系統(tǒng)獲利的情況。例如，為了提高醫(yī)療費用支出，醫(yī)生們巧妙地修改了賬單代碼，將簡單的X光掃描變?yōu)楦鼜碗s的掃描等等。

芬利森稱，人工智能可能會加劇這個問題。未來幾年，軟件開發(fā)者和監(jiān)管機構在構建和評估AI系統(tǒng)時，必須考慮這些情況發(fā)生的可能性?！搬t(yī)療信息本身就模糊不明確，再加上財務激勵政策經(jīng)常相互沖突，使得高風險決策因非常微妙的信息變動就會出現(xiàn)搖擺。”

對抗性攻擊的擔憂與日俱增

這篇新發(fā)表的論文加劇了人們對“對抗性攻擊”可能性的擔憂，從人臉識別服務、無人駕駛汽車到虹膜掃描儀和指紋識別器，其攻擊的目標可謂包羅萬象。

對抗性攻擊利用了眾多AI系統(tǒng)設計和構建的一個基本方面——神經(jīng)網(wǎng)絡。人工智能越來越多地受到神經(jīng)網(wǎng)絡的驅動，而神經(jīng)網(wǎng)絡本身是一種復雜的數(shù)學系統(tǒng)，通過分析大量數(shù)據(jù)獨立學習任務。例如，通過分析成千上萬的眼部掃描圖像，神經(jīng)網(wǎng)絡可以學會如何監(jiān)測糖尿病視網(wǎng)膜病變的征兆。

但這種“機器學習”是建立在巨大規(guī)模的基礎，也就是無數(shù)定義人類行為的不同的數(shù)據(jù)塊之上，以至于一旦接收到不正確的信息，AI系統(tǒng)可能產(chǎn)生意想不到的行為。

2016 年，美國卡耐基梅隆大學的一個研究小組通過印在眼鏡框上的圖案，成功騙過了面部識別系統(tǒng)，讓其誤以為戴眼鏡的是名人。當研究人員戴上這些眼鏡時，系統(tǒng)把他們錯誤識別成米拉·喬沃維奇（Milla Jovovich）和約翰·馬爾科維奇（John Malkovich）。

2018年，一個研究團隊也設計了類似的實驗。他們讓一名亞洲科學家戴上一頂帽子，將紅外光從帽檐下方投射到他臉上。紅外光是人眼不可見的，但它可以欺騙面部識別系統(tǒng)，讓它錯誤識別佩戴者是白人音樂家Moby，而不是來自亞洲的科學家。

也有研究曾警告稱，對抗性攻擊能欺騙無人駕駛汽車，讓它們看到不存在的東西。通過對路標做一些微笑的改動，就導致汽車AI系統(tǒng)將停車標志錯誤地識別為讓路標志。

去年年底，美國紐約大學坦頓工程學院的一個研究團隊創(chuàng)造了一種虛擬指紋，在22%的情況下，成功騙過了指紋識別器。也就是說，所有使用這些指紋識別器的手機或個人電腦，有22%可能被解鎖。

鑒于生物特征安全設備和其他人工智能系統(tǒng)的日益普及，這項研究的影響極其深遠。印度已經(jīng)開始實施世界上最大的基于指紋的身份識別系統(tǒng)，用于發(fā)放政府津貼和分派服務。各家銀行正在引入人臉識別技術到自動取款機上。與 Google 同屬一家母公司的 Waymo等企業(yè)，目前正在對無人駕駛汽車進行公共道路測試。

如今，芬利森團隊就AI系統(tǒng)在醫(yī)學領域的使用也發(fā)出了同樣的警告，目前為止，在醫(yī)療保健領域還沒有發(fā)現(xiàn)前沿的對抗性攻擊。但這種潛力是存在的，特別是在醫(yī)療賬單和保險行業(yè)。

然而，作為一名機器學習系統(tǒng)專家，美國賓夕法尼亞大學沃頓商學院助理教授哈姆莎·巴斯塔尼對于引入人工智能是否會讓問題變得更加嚴重提出了質疑。首先，想要在現(xiàn)實中實現(xiàn)對抗性攻擊是有難度的；其次，目前還不確定監(jiān)管機構和保險公司是否打算采用容易受到對抗性攻擊的這類機器學習算法。但她又補充道，這個問題的確值得關注：

“（現(xiàn)實中）總會出現(xiàn)意想不到的后果，特別是在醫(yī)療保健領域?！?/p>