小編搞了大半輩子測(cè)試和容錯(cuò)，對(duì)這方面消息比較敏感。最近看到新聞，商業(yè)巨頭亞馬遜2016年推出圖像識(shí)別AI系統(tǒng)“Rekognition”，還積極向美國(guó)警方推銷以幫助其辦案。不過(guò)近日，“Rekognition”卻鬧了一個(gè)大烏龍：28名美國(guó)國(guó)會(huì)議員被它識(shí)別成了罪犯。

這一錯(cuò)誤也讓發(fā)起這項(xiàng)測(cè)試、反對(duì)警方使用“Rekognition”的美國(guó)公民自由聯(lián)盟（ACLU）抓到把柄，他們表示，測(cè)試結(jié)果引起了民眾對(duì)警方使用該系統(tǒng)的嚴(yán)重?fù)?dān)憂。7月26日，ACLU在其網(wǎng)站披露：該組織對(duì)“Rekognition”進(jìn)行了測(cè)試，結(jié)果系統(tǒng)錯(cuò)誤地將28名國(guó)會(huì)議員識(shí)別為曾因犯罪而被捕的人員。

所以，人工智能應(yīng)用被吹得熱熱鬧鬧，場(chǎng)景令人振奮，但是，真要付諸應(yīng)用，人們對(duì)這些系統(tǒng)信任度存在疑問(wèn)，可能產(chǎn)生嚴(yán)重后果。怎么能提供這些系統(tǒng)的高可信性呢？這就要深入到每一個(gè)具體系統(tǒng)，進(jìn)行科學(xué)分析。本月IEEE Spectrum 2018/8發(fā)表一篇文章，“MAKING MEDICAL AI TRUSTWORTHY”,很有參考價(jià)值。

醫(yī)藥工業(yè)領(lǐng)域是人工智能系統(tǒng)應(yīng)用的理想之地。醫(yī)學(xué)檢驗(yàn)、醫(yī)生的面談和過(guò)程被成文為患者病歷，存為電子格式。AI系統(tǒng)可以摘要這些數(shù)據(jù)，從而決定較好和性價(jià)比較高的治療方案?，F(xiàn)在許多研究都在建造這種系統(tǒng)，許多文章描述關(guān)于分析紀(jì)錄、掃描圖像、產(chǎn)生患者健康的診斷和預(yù)言。譬如下圖所示一個(gè)低分辨率的反映心臟跳動(dòng)的心動(dòng)圖，用AI程序分離，取出最相關(guān)的部分，然后用解剖學(xué)的理解去進(jìn)行診斷。

這類文章很多，但是，這些系統(tǒng)很少能進(jìn)入醫(yī)院里實(shí)際應(yīng)用。

為什么會(huì)這樣？匹茲堡大學(xué)的醫(yī)學(xué)研究專家和物理學(xué)家Shinjini Kundu說(shuō)：?jiǎn)栴}在于信任方面，你有可行的技術(shù)，但你怎么能得到人們的信任而使用之？

許多醫(yī)用AI系統(tǒng)是個(gè)黑盒子，輸入數(shù)據(jù)，得出答案。醫(yī)生們搞不懂它為什么要這么處理。所以，Kunda研究AI對(duì)醫(yī)學(xué)圖像的分析與解釋。她從對(duì)醫(yī)學(xué)圖像，譬如核磁共振圖像，機(jī)器學(xué)習(xí)開始，從而發(fā)現(xiàn)醫(yī)生感興趣的模式。

Kunda最近用AI分析膝蓋核磁共振圖像（MRI），分析三年內(nèi)會(huì)發(fā)展為骨關(guān)節(jié)炎的可能性。她用“生長(zhǎng)模型化”技術(shù)，用AI產(chǎn)生一個(gè)新圖像，一個(gè)保證會(huì)發(fā)病的圖像。Kunda解釋說(shuō)，他們開發(fā)了一個(gè)黑盒子分類器，去產(chǎn)生一個(gè)圖像，顯示支持其診斷的模式。

人眼無(wú)法根據(jù)下圖的MRI圖像判斷患者三年內(nèi)是否會(huì)得關(guān)節(jié)炎，譬如上左圖不會(huì)，但上右圖就會(huì)得關(guān)節(jié)炎。而AI程序進(jìn)行統(tǒng)計(jì)分析可以得出幾倍方差范圍內(nèi)得這種病的概率。

AI產(chǎn)生的圖像基于MRI掃描軟骨的微妙變化，這些變化可能是醫(yī)生們沒(méi)有注意到的。這幫助人們?nèi)ダ斫膺^(guò)去治關(guān)節(jié)炎的過(guò)程為什么沒(méi)注意到。

舊金山加州大學(xué)助理教授、心臟病專家Rima Arnaout訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)去分類超聲波心電圖，在分辨微小而低分辨率圖像方面比心臟病專家精確多了。下一步將用該圖像信息去識(shí)別解剖結(jié)構(gòu)和診斷心臟疾病和缺陷。

但是，Arnaout說(shuō)：“我不會(huì)去做自己無(wú)法信服的診斷?！彼脙蓚€(gè)技術(shù)去搞懂她的分類器是怎么做出決定的。在封閉試驗(yàn)中，他考察測(cè)試圖像的部分變化如何改變AI的回答；用顯著圖，她跟蹤神經(jīng)網(wǎng)絡(luò)的最后回答返回到原圖，去發(fā)現(xiàn)什么像素權(quán)重最高。這兩技術(shù)說(shuō)明圖像的那些部分對(duì)AI做出結(jié)論最重要，正和專家看重的結(jié)構(gòu)相重合。

微軟一位骨干研究人員Rich Caruana十年來(lái)一直致力于一項(xiàng)研究，就是讓機(jī)器學(xué)習(xí)模型不但是智能的，而且是可以理解的。他用AI拿醫(yī)院的電子病歷去預(yù)計(jì)患者的結(jié)果。他發(fā)現(xiàn)即使是高度精確的模型也隱藏著嚴(yán)重的缺陷。他引用他對(duì)肺癌患者的數(shù)據(jù)集，訓(xùn)練機(jī)器學(xué)習(xí)模型去區(qū)分該入院的高?；颊吆涂稍诩一謴?fù)的低?；颊?。該模型發(fā)現(xiàn)有心臟病的人較少死于肺炎，可以安心地算作低危人群。他解釋說(shuō)，診斷有肺炎的心臟病患者其所以結(jié)局較好，不是因?yàn)樗麄兊臀ｋU(xiǎn)，而是如果他們的呼吸困難早就進(jìn)了急診，從而得到治療。模型發(fā)現(xiàn)的這種關(guān)聯(lián)性是正確的。但是，假如我們用這種關(guān)聯(lián)性去干預(yù)衛(wèi)生保健，我們可能傷害甚至殺死某些患者。由于這些麻煩的發(fā)現(xiàn)，他正在研究清楚顯示變量相關(guān)的機(jī)器學(xué)習(xí)模型，讓它判斷模型不但統(tǒng)計(jì)意義上精確，而且醫(yī)學(xué)上可用。

所以，人工智能應(yīng)用需要應(yīng)用領(lǐng)域?qū)＜业纳钊敕治?、?yán)格的測(cè)試過(guò)程、有效的容錯(cuò)技術(shù)，才能保證人工智能應(yīng)用系統(tǒng)的安全可靠，人們才能放心使用。