正文字?jǐn)?shù)：3268 閱讀時(shí)長：8分鐘

這篇文章是我們對人工智能研究論文的評論的一部分，這是一系列探索人工智能最新發(fā)現(xiàn)的文章。

人類層面的表現(xiàn)。人類層面的準(zhǔn)確性。無論是面部識(shí)別、物體檢測還是問題回答，這些術(shù)語都是你能從開發(fā)人工智能系統(tǒng)的公司經(jīng)常聽到的。值得稱道的是，近年來出現(xiàn)了許多由人工智能算法驅(qū)動(dòng)的偉大產(chǎn)品，這主要?dú)w功于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的進(jìn)步。 但是這些比較中的許多只考慮了在有限的數(shù)據(jù)集上測試深度學(xué)習(xí)算法的最終結(jié)果。這種方法會(huì)對人工智能系統(tǒng)產(chǎn)生錯(cuò)誤的預(yù)期，并在它們被賦予關(guān)鍵任務(wù)時(shí)產(chǎn)生危險(xiǎn)的結(jié)果。

在最近的一項(xiàng)研究中，一組來自德國不同組織和大學(xué)的研究人員強(qiáng)調(diào)了評估深度學(xué)習(xí)在處理視覺數(shù)據(jù)方面所面臨的挑戰(zhàn)。在他們題為《比較人類和機(jī)器感知的臭名昭著的困難》的論文中，研究人員強(qiáng)調(diào)了目前比較深層神經(jīng)網(wǎng)絡(luò)和人類視覺系統(tǒng)的方法中存在的問題。

在他們的研究中，這位科學(xué)家進(jìn)行了一系列的實(shí)驗(yàn)，深入挖掘深度學(xué)習(xí)結(jié)果的表層，并將其與人類視覺系統(tǒng)的工作進(jìn)行了比較。他們的發(fā)現(xiàn)提醒我們，在將人工智能與人類進(jìn)行比較時(shí)，我們必須保持謹(jǐn)慎，即使它在相同的任務(wù)上表現(xiàn)出相同或更好的表現(xiàn)。 人類和計(jì)算機(jī)視覺的復(fù)雜性 在似乎無休止的重建人類感知能力的探索中，目前為止，目前為止，深度學(xué)習(xí)中的計(jì)算機(jī)視覺領(lǐng)域取得了最有利的結(jié)果。卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種常用于計(jì)算機(jī)視覺深度學(xué)習(xí)算法的體系結(jié)構(gòu)，它可以完成傳統(tǒng)軟件難以完成的任務(wù)。

然而，將神經(jīng)網(wǎng)絡(luò)與人類的感知能力進(jìn)行比較仍然是一個(gè)挑戰(zhàn)。這在一定程度上是因?yàn)槲覀儗θ祟惖囊曈X系統(tǒng)和大腦還有很多東西要學(xué)習(xí)的地方。深度學(xué)習(xí)系統(tǒng)的復(fù)雜工作方式也使問題更加復(fù)雜。深層神經(jīng)網(wǎng)絡(luò)以非常復(fù)雜的方式工作，而這些方式往往會(huì)使它們自己的創(chuàng)造者感到困惑。 近年來，一個(gè)研究機(jī)構(gòu)試圖評估神經(jīng)網(wǎng)絡(luò)的內(nèi)部工作原理及其在處理現(xiàn)實(shí)世界中情況的魯棒性。德國研究人員在他們的論文中寫道：“盡管進(jìn)行了大量的研究，但比較人類和機(jī)器的感知并不簡單?！薄? 在科學(xué)家們的研究中，它們重點(diǎn)集中在三個(gè)領(lǐng)域來測量人類和深度神經(jīng)網(wǎng)絡(luò)如何處理視覺數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)如何感知輪廓？ 第一個(gè)測試涉及輪廓檢測。在這個(gè)實(shí)驗(yàn)中，人類和人工智能參與者都必須說明出一幅圖像是否包含封閉輪廓線。..這里的目標(biāo)是了解深度學(xué)習(xí)算法是否能夠?qū)W習(xí)閉合和開放形狀的概念，以及它們是否能夠在各種情況下檢測到它們。

你能分辨出上面哪個(gè)圖像包含一個(gè)閉合的形狀嗎? 對人類來說，一個(gè)封閉的輪廓兩側(cè)有許多開放的輪廓，這在視覺上是非常突出的。相比之下，探測封閉的等高線對 DNNs 來說可能比較困難，因?yàn)樗鼈兛赡苄枰h(yuǎn)距離的等高線整合”研究人員寫道。 在實(shí)驗(yàn)中，科學(xué)家們使用了ResNet-50，一種由微軟人工智能研究人員開發(fā)的流行卷積神經(jīng)網(wǎng)絡(luò)。他們使用遷移學(xué)習(xí)在 14000 張閉合和開放輪廓圖像上調(diào)整人工智能模型。 然后，他們在各種類似訓(xùn)練數(shù)據(jù)的例子上測試人工智能，并逐漸向其他方向轉(zhuǎn)移。最初的發(fā)現(xiàn)表明，一個(gè)訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)似乎掌握了封閉輪廓的概念。盡管該網(wǎng)絡(luò)是在只包含有直線形狀的數(shù)據(jù)集上訓(xùn)練的，但它也可以在曲線上表現(xiàn)良好。 科學(xué)家們寫道：“這些結(jié)果表明，我們的模型確實(shí)學(xué)習(xí)了開放和閉合輪廓的概念，并執(zhí)行了類似于人類的輪廓整合過程?！?

ResNet神經(jīng)網(wǎng)絡(luò)能夠檢測出各種開放的和封閉的輪廓圖像，盡管只訓(xùn)練了直線樣本的訓(xùn)練。 然而，進(jìn)一步的研究表明，其他不影響人的行為的變化降低了人工智能模型結(jié)果的準(zhǔn)確性。例如，改變線條的顏色和寬度會(huì)導(dǎo)致深度學(xué)習(xí)模型的精度突然下降。當(dāng)形狀變大到一定尺寸時(shí)，模型似乎也很難檢測到形狀。

當(dāng)看到包含不同顏色和厚度的線條的圖像，以及形狀大于訓(xùn)練集的圖像時(shí)，ResNet-50 神經(jīng)網(wǎng)絡(luò)就會(huì)掙扎。 神經(jīng)網(wǎng)絡(luò)對對抗干擾也非常敏感，精心設(shè)計(jì)的變化是肉眼看不到，但會(huì)破壞機(jī)器學(xué)習(xí)系統(tǒng)的行為。

右邊的圖像經(jīng)過了對抗性的干擾，也就是人類察覺不到的噪聲。對于人眼來說，這兩個(gè)圖像是相同的。但是對于神經(jīng)網(wǎng)絡(luò)來說，它們是不同的圖像。 為了進(jìn)一步研究人工智能的決策過程，科學(xué)家們使用了特征包網(wǎng)絡(luò)（bag-of - feature network），這是一種試圖定位有助于深度學(xué)習(xí)模型決策的數(shù)據(jù)位的技術(shù)。研究人員發(fā)現(xiàn)，分析證明了“確實(shí)存在一些局部特征，比如端點(diǎn)與短邊的結(jié)合，這些特征通常可以給出正確的類標(biāo)簽?！薄?機(jī)器學(xué)習(xí)能推理圖像嗎? 第二個(gè)實(shí)驗(yàn)測試了深度學(xué)習(xí)算法在抽象視覺推理中的能力。實(shí)驗(yàn)所用的數(shù)據(jù)是基于綜合視覺推理測試（SVRT），在這個(gè)測試中，人工智能必須回答需要理解圖片中不同形狀之間關(guān)系的問題。測試包括相同-不同的任務(wù)（例如，圖片中的兩個(gè)形狀是否相同？）以及空間任務(wù)（例如，較小的形狀是否位于較大形狀的中心？）。人類的觀察者很容易解決這些問題。

SVRT 挑戰(zhàn)要求參與的 AI 解決相同-不同和空間的任務(wù)。 在他們的實(shí)驗(yàn)中，研究人員使用ResNet-50 測試了它在不同大小的訓(xùn)練數(shù)據(jù)集上的表現(xiàn)。結(jié)果表明，在28000個(gè)樣本上進(jìn)行微調(diào)優(yōu)化的預(yù)訓(xùn)練模型在相同的不同任務(wù)和空間任務(wù)上都表現(xiàn)良好。（之前的實(shí)驗(yàn)將一個(gè)非常小的神經(jīng)網(wǎng)絡(luò)訓(xùn)練成一百萬張圖像。）隨著研究人員減少訓(xùn)練樣本的數(shù)量，人工智能的性能下降，但是在相同的不同任務(wù)中下降的速度更快。

“同-異任務(wù)比空間推理任務(wù)需要更多的訓(xùn)練樣本”，研究人員寫道，并補(bǔ)充道，“這不能作為前饋神經(jīng)網(wǎng)絡(luò)和人類視覺系統(tǒng)之間存在系統(tǒng)性差異的證據(jù)?！? 研究人員指出，人類的視覺系統(tǒng)天生就預(yù)先訓(xùn)練過大量抽象的視覺推理任務(wù)。這使得在低數(shù)據(jù)的情況下測試深度學(xué)習(xí)模型是不公平的，而且?guī)缀醪豢赡艿贸鲫P(guān)于人類和人工智能的內(nèi)部信息處理差異的可靠結(jié)論。 研究人員寫道：“很有可能，對這兩種任務(wù)從零開始訓(xùn)練的人類視覺系統(tǒng)，在樣本效率方面表現(xiàn)出與 ResNet-50 類似的差異?！?。 測量深度學(xué)習(xí)的認(rèn)知差距 識(shí)別差距是視覺系統(tǒng)中最有趣的測試之一?？紤]以下圖像，在不向下滾動(dòng)的前提下，你能告訴我它是什么嗎？

下面是同一圖像的縮小視圖。毫無疑問這是只貓。如果我給你看圖像的另一部分（也許是耳朵）的特寫鏡頭，你可能有更大的機(jī)會(huì)預(yù)測圖像中的內(nèi)容。我們?nèi)祟愋枰吹揭欢〝?shù)量的整體形狀和圖案才能識(shí)別圖像中的物體。放大得越多，刪除的特征越多，就越難區(qū)分圖像中的內(nèi)容。

根據(jù)它們所包含的特征，貓圖像不同部分的特寫鏡頭會(huì)對我們的感知產(chǎn)生不同的影響。 深度學(xué)習(xí)系統(tǒng)也以特征為基礎(chǔ)，但它們的工作方式更為微妙。神經(jīng)網(wǎng)絡(luò)有時(shí)會(huì)發(fā)現(xiàn)人眼看不到的微小特征，但即使在非常近距離放大時(shí)也能檢測到。 在最后的實(shí)驗(yàn)中，研究人員試圖通過逐漸放大圖像來測量深度神經(jīng)網(wǎng)絡(luò)的識(shí)別差距，直到人工智能模型的精度開始大幅下降。 此前的實(shí)驗(yàn)表明，人的圖像識(shí)別缺口與深度神經(jīng)網(wǎng)絡(luò)存在很大的差異。但在他們的論文中，研究人員指出，之前大多數(shù)關(guān)于神經(jīng)網(wǎng)絡(luò)識(shí)別缺口的測試都是基于人類選擇的圖像補(bǔ)丁。這些斑塊有利于人類的視覺系統(tǒng)。 當(dāng)他們在“機(jī)器選擇”的補(bǔ)丁上測試他們的深度學(xué)習(xí)模型時(shí)，研究人員得到的結(jié)果顯示人類和人工智能有著相似的差距。

識(shí)別間隙測試評估放大圖像如何影響人工智能的精度 研究人員寫道：“這些結(jié)果凸顯了在完全相同的基礎(chǔ)上測試人類和機(jī)器的重要性，以及在實(shí)驗(yàn)設(shè)計(jì)中避免人類偏見的重要性?！薄Ｈ撕蜋C(jī)器之間的所有條件、指令和程序都應(yīng)該盡可能接近，以確保所有觀察到的差異都是由于內(nèi)在不同的決策策略，而不是由于測試程序的差異。” 縮小人工智能與人類智能之間的差距 隨著我們的人工智能系統(tǒng)變得越來越復(fù)雜，我們將不得不開發(fā)更復(fù)雜的方法來測試它們。該領(lǐng)域先前的研究表明，許多用于測量計(jì)算機(jī)視覺系統(tǒng)精度的流行基準(zhǔn)是誤導(dǎo)性的。德國研究人員的這項(xiàng)工作是許多嘗試測量人工智能和更好地量化人工智能和人類智能之間的區(qū)別的努力之一。他們得出的結(jié)論可以為未來的人工智能研究提供方向。

研究人員寫道：“在人類和機(jī)器的比較研究中，最主要的挑戰(zhàn)似乎是人類內(nèi)部強(qiáng)烈的解釋偏見。”?！斑m當(dāng)?shù)姆治龉ぞ吆蛷V泛的交叉檢查（如網(wǎng)絡(luò)架構(gòu)的變化、實(shí)驗(yàn)程序的校準(zhǔn)、泛化測試、對抗性例子和受限網(wǎng)絡(luò)的測試）有助于對發(fā)現(xiàn)的解釋合理化，并將這種內(nèi)部偏見放到正確的角度?？偠灾?，在比較人類和機(jī)器的感知時(shí)，必須注意不要強(qiáng)加我們?nèi)祟惖南到y(tǒng)性偏見。”

原文標(biāo)題：為什么AI感知與人類感知很難直接比較?

文章出處：【微信公眾號(hào)：LiveVideoStack】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。