當(dāng)訓(xùn)練好的圖像分類(lèi)器遇到了訓(xùn)練數(shù)據(jù)里不存在的類(lèi)別的圖像時(shí)，顯然它會(huì)給出離譜的預(yù)測(cè)。那么我們應(yīng)該如何改進(jìn)分類(lèi)器、如何克服這個(gè)問(wèn)題呢？

老實(shí)說(shuō)，這真的是領(lǐng)域內(nèi)的一個(gè)老大難問(wèn)題，沒(méi)人能給出完美的答案。Jetpac（現(xiàn)被谷歌收購(gòu)） CTO、蘋(píng)果畢業(yè)生、TensorFlow團(tuán)隊(duì)成員Pete Warden 在個(gè)人博客中寫(xiě)下了他的一些個(gè)人思考。

幾天前，正與我合作的 Plant Village團(tuán)隊(duì)向我提出了一個(gè)他們正在開(kāi)發(fā)的應(yīng)用程序（app）中遇到的問(wèn)題。他們用 app 檢測(cè)植物所患的疾病。當(dāng)它面對(duì)植物的葉子時(shí)，app能夠給出很好的分類(lèi)結(jié)果，然而如果你讓 app處理電腦鍵盤(pán)的圖片，它會(huì)認(rèn)為這是一種受損了的植物。如下圖。

左圖：AWDamage: 100%；右圖：AWDamage: 98%

既滑稽又合理

對(duì)于計(jì)算機(jī)視覺(jué)研究者們來(lái)說(shuō)，這樣的結(jié)果并不令人意外。但對(duì)于大多數(shù)其他人來(lái)說(shuō)，這還是令人十分震驚的。所以我想解釋為什么會(huì)發(fā)生這種情況，以及我們可以對(duì)此做些什么。

作為人類(lèi)，我們習(xí)慣于對(duì)我們看到的周?chē)澜缰械娜魏问挛镞M(jìn)行分類(lèi)。自然而然地，我們也希望機(jī)器具有相同的能力。然而，大多數(shù)模型僅僅被訓(xùn)練用來(lái)識(shí)別非常有限的物體集合，例如 ImageNet競(jìng)賽中的 1,000種物體。至關(guān)重要的是，訓(xùn)練過(guò)程假設(shè)模型面對(duì)的每個(gè)樣本一定都是屬于這些類(lèi)別的其中一種物體，而且預(yù)測(cè)結(jié)果也在這個(gè)集合的范圍內(nèi)。模型不能選擇給出「我不知道！」這樣的預(yù)測(cè)結(jié)果，也沒(méi)有訓(xùn)練數(shù)據(jù)會(huì)幫助分類(lèi)器學(xué)到這樣的預(yù)測(cè)結(jié)果。對(duì)于科學(xué)研究來(lái)說(shuō)，這樣的簡(jiǎn)化處理是很有意義的，但是當(dāng)我們?cè)诂F(xiàn)實(shí)世界中使用這些最終得到的模型時(shí)還是會(huì)引起一些問(wèn)題。

回想起我在 Jetpac工作的日子，我們很難說(shuō)服人們相信這個(gè)具有開(kāi)創(chuàng)性的 AlexNet模型是一個(gè)巨大的突破。因?yàn)槊慨?dāng)我們把運(yùn)行著 AlexNet的用于演示的手機(jī)給測(cè)試者使用時(shí)，他們總會(huì)將自己的臉讓手機(jī)識(shí)別，而手機(jī)的預(yù)測(cè)結(jié)果往往是「氧氣面罩」或「安全帶」之類(lèi)的東西。這是因?yàn)?ImageNet競(jìng)賽數(shù)據(jù)集中的物體不包括任何人的標(biāo)簽，但是大多數(shù)帶有面具或安全帶標(biāo)簽的圖片都同時(shí)包含了人的面孔和標(biāo)簽對(duì)應(yīng)的物體。另一個(gè)令人尷尬的錯(cuò)誤是，當(dāng)人們把手機(jī)對(duì)準(zhǔn)一個(gè)盤(pán)子時(shí)，它給出的預(yù)測(cè)結(jié)果竟然是「馬桶座」！這是因?yàn)樵诔跏嫉念?lèi)別中沒(méi)有盤(pán)子，而外形特征最接近的白色圓形物體是一個(gè)馬桶。

漸漸地，我認(rèn)為這是一個(gè)「開(kāi)放世界」與「封閉世界」的問(wèn)題。我們假設(shè)模型所要面對(duì)的物體在有限的范圍內(nèi)，從而訓(xùn)練和評(píng)估模型。然而，一旦模型走出實(shí)驗(yàn)室，被用于現(xiàn)實(shí)世界的種種應(yīng)用，這樣的假設(shè)就不成立了。用戶(hù)會(huì)根據(jù)這些模型面對(duì)任意放在它們面前的物體的預(yù)測(cè)結(jié)果來(lái)評(píng)判它們的性能，無(wú)論這些物體是否在訓(xùn)練集中。

那么，解決方案是什么呢？

不幸的是，我不知道有什么簡(jiǎn)單的方法可以解決這個(gè)問(wèn)題，但是我已經(jīng)看到了目前有一些策略是對(duì)此有所幫助的。顯然，我們可以從向訓(xùn)練數(shù)據(jù)添加一個(gè)「未知」類(lèi)開(kāi)始處理該問(wèn)題。而壞消息是，這樣做會(huì)引發(fā)一連串其它的問(wèn)題：

「未知」類(lèi)應(yīng)該包含怎樣的樣本？可能屬于該類(lèi)的自然圖像無(wú)窮無(wú)盡，所以你應(yīng)該如何選擇哪些圖片應(yīng)該被納入該類(lèi)？

在「未知」類(lèi)中，每種不同類(lèi)別的物體需要包含多少？

對(duì)于那些看起來(lái)和你重點(diǎn)關(guān)注的類(lèi)非常相似的未知對(duì)象，你應(yīng)該做些什么？例如，添加一個(gè)不在 ImageNet的 1,000類(lèi)物體中，而看起來(lái)幾乎完全相同的品種的狗，可能會(huì)使許多本應(yīng)該正確匹配的物體被迫分類(lèi)到未知類(lèi)中。

在訓(xùn)練數(shù)據(jù)中需要讓未知類(lèi)的樣本占多大的比重？

最后一點(diǎn)實(shí)際上涉及到了一個(gè)更廣闊的問(wèn)題。你從圖像分類(lèi)網(wǎng)絡(luò)中的到的預(yù)測(cè)值并不是概率。它們假設(shè)你看到任何特定類(lèi)的概率等于該類(lèi)在訓(xùn)練數(shù)據(jù)中出現(xiàn)的頻率。如果你用一個(gè)分類(lèi)里包含企鵝的動(dòng)物分類(lèi)器檢測(cè)亞馬遜叢林中的動(dòng)物，你就會(huì)遇到這個(gè)問(wèn)題，因?yàn)椋◣缀酰┧锌吹狡簌Z的事件都會(huì)是假正例誤報(bào)（false positive，顯然這里是不會(huì)出現(xiàn)企鵝的，所以當(dāng)模型認(rèn)為自己看到了企鵝的時(shí)候一定是錯(cuò)誤的）。即使是對(duì)于美國(guó)城市中的狗的種類(lèi)，罕見(jiàn)的品種在 ImageNet訓(xùn)練數(shù)據(jù)中出現(xiàn)的次數(shù)也要比在一個(gè)寵物狗公園中多，所以他們會(huì)被過(guò)度描述為假正類(lèi)。通常的解決方案是弄清在計(jì)算過(guò)程中你將面臨的先驗(yàn)概率，然后利用它們將校準(zhǔn)值應(yīng)用到網(wǎng)絡(luò)的輸出中，從而獲得更接近真實(shí)概率的結(jié)果。

在實(shí)際的應(yīng)用程序中，從整體上幫助解決該問(wèn)題的主要策略是：將模型的適用范圍限制在「應(yīng)用程序?qū)⒚鎸?duì)的物體與模型的訓(xùn)練數(shù)據(jù)匹配」的情況。要做到這一點(diǎn)，一個(gè)簡(jiǎn)單的方法就是對(duì)產(chǎn)品進(jìn)行設(shè)計(jì)。你可以創(chuàng)建一個(gè)用戶(hù)界面，指引人們?cè)谶\(yùn)行分類(lèi)器之前確保攝像頭畫(huà)面中已經(jīng)出現(xiàn)了要分類(lèi)的目標(biāo)，這和那些要求你對(duì)支票或其他文檔進(jìn)行拍照的應(yīng)用程序經(jīng)常做的是一樣的。

稍微復(fù)雜一點(diǎn)的方案是，你可以編寫(xiě)一個(gè)獨(dú)立的圖像分類(lèi)器，它試圖去識(shí)別那些那些主圖像分類(lèi)器不能識(shí)別的情況。這和添加一個(gè)單一的「未知」類(lèi)是不同的，因?yàn)樗淖饔酶褚环N級(jí)聯(lián)操作，或者用做一個(gè)詳細(xì)的模型前的過(guò)濾器。在識(shí)別農(nóng)作物患病情況的例子中，視覺(jué)上的操作環(huán)境足夠獨(dú)特，所以只需要訓(xùn)練一個(gè)訓(xùn)練一個(gè)模型來(lái)區(qū)分葉子和隨機(jī)選擇的其他圖片。這些照片之間有足夠的相似性，而門(mén)模型至少應(yīng)該能夠識(shí)別出圖片是否是在不支持的場(chǎng)景中拍攝的。該門(mén)模型將在運(yùn)行完整的圖像分類(lèi)器之前運(yùn)行，如果它沒(méi)有檢測(cè)到一些看起來(lái)像是植物的東西，它就會(huì)提前跳出程序并且返回表明沒(méi)有發(fā)現(xiàn)任何植物的錯(cuò)誤信息。

要求你對(duì)信用卡拍照或執(zhí)行其它光學(xué)字符識(shí)別（OCR）過(guò)程的應(yīng)用程序通常會(huì)混合使用屏幕上的方向和檢測(cè)模糊性或不協(xié)調(diào)性，從而指導(dǎo)用戶(hù)拍攝可以成功處理的照片。而一個(gè)用于回答「那是樹(shù)葉嗎？」這樣的問(wèn)題的獨(dú)立圖像分類(lèi)模型則是這種接口模式的簡(jiǎn)單版本。

本文給出的可能并不是一個(gè)令人滿(mǎn)意的答案，但是一旦你把機(jī)器學(xué)習(xí)技術(shù)引入到帶有限制的研究問(wèn)題之后，它們就會(huì)反應(yīng)出用戶(hù)期望目標(biāo)的混亂。在一個(gè)人對(duì)一個(gè)物體的認(rèn)知過(guò)程中，存在很多常識(shí)和外部知識(shí)，而我們?cè)诮?jīng)典的圖像分類(lèi)任務(wù)中并沒(méi)有獲取這些知識(shí)。為了獲得滿(mǎn)足用戶(hù)期望的結(jié)果，我們必須圍繞我們的模型設(shè)計(jì)一個(gè)完整的系統(tǒng)，這個(gè)系統(tǒng)能夠理解它們將被部署到的環(huán)境，并切不僅僅基于模型的輸出作出明智的決策。