今天講一下機(jī)器視覺和深度學(xué)習(xí)如何改變制造業(yè)中自動(dòng)檢查的領(lǐng)域。

人工智能最終將改變游戲規(guī)則，幾乎在每個(gè)領(lǐng)域中都有無數(shù)的應(yīng)用程序。現(xiàn)在，它正在進(jìn)入生產(chǎn)和制造領(lǐng)域，從而可以利用深度學(xué)習(xí)的力量，并在此過程中提供更快，更便宜，更優(yōu)越的自動(dòng)化。本文旨在簡要介紹自動(dòng)視覺評估以及深度學(xué)習(xí)方法如何節(jié)省大量時(shí)間和精力。

什么是外觀檢查？

它涉及對生產(chǎn)線上的產(chǎn)品進(jìn)行分析以達(dá)到質(zhì)量控制的目的。目視檢查還可以用于生產(chǎn)設(shè)施中各種設(shè)備（例如儲罐，壓力容器，管道和其他設(shè)備）的內(nèi)部和外部評估。

這是一個(gè)定期進(jìn)行的過程，例如每天。反復(fù)表明，目視檢查會在生產(chǎn)過程中發(fā)現(xiàn)大多數(shù)隱藏的缺陷。

什么時(shí)候需要目視檢查？

目視檢查在制造中用于質(zhì)量或缺陷評估時(shí)，但在非生產(chǎn)環(huán)境中，可以用來確定是否存在指示“目標(biāo)”的特征并防止?jié)撛诘呢?fù)面影響。

在許多需要目視檢查的行業(yè)中，有一些行業(yè)認(rèn)為視力檢查具有很高的后果，并且是高度優(yōu)先的活動(dòng)，因?yàn)橥ㄟ^視力檢查可能產(chǎn)生的任何錯(cuò)誤（例如傷害，死亡，損失）的潛在成本很高昂貴的設(shè)備，報(bào)廢的物品，返工或客戶流失。優(yōu)先檢查視力的領(lǐng)域包括核武器，核電，機(jī)場行李檢查，飛機(jī)維修，食品工業(yè)，醫(yī)藥和制藥。

使用外觀檢查的行業(yè)細(xì)分

為什么不只堅(jiān)持手工檢查呢？

盡管舊的可能是黃金，但人們可能會爭辯說，使用舊式的檢查方法有一些限制。

手動(dòng)檢查需要一個(gè)人在場，一名檢查員對所涉實(shí)體進(jìn)行評估并根據(jù)一些培訓(xùn)或先前的知識對它進(jìn)行判斷。除了訓(xùn)練有素的檢查員的肉眼之外，不需要任何設(shè)備。

根據(jù)研究，目視檢查錯(cuò)誤的范圍通常為20％至30％（Drury＆Fox，1975）。一些缺陷可以歸因于人為錯(cuò)誤，而其他缺陷則歸因于空間的限制。某些錯(cuò)誤可以通過培訓(xùn)和實(shí)踐來減少，但不能完全消除。

檢驗(yàn)過程（來源：視覺檢查在21世紀(jì)的作用（See＆Drury，2017）

影響檢驗(yàn)績效的因素

制造中的外觀檢查錯(cuò)誤采取以下兩種形式之一：遺漏現(xiàn)有缺陷或錯(cuò)誤地標(biāo)識不存在的缺陷（誤報(bào)）。與誤報(bào)相比，未命中的發(fā)生率要高得多（請參閱2012）。遺漏會導(dǎo)致質(zhì)量下降，而誤報(bào)會導(dǎo)致不必要的生產(chǎn)成本和整體浪費(fèi)。

手動(dòng)檢查的局限性

此外，人工檢查還受到其他限制，例如這些：

仍然存在這樣一個(gè)事實(shí)，即人眼雖然比任何機(jī)械攝像機(jī)都具有更高的技術(shù)先進(jìn)性，但也很容易被愚弄。考慮一下與外觀檢查相關(guān)的一些弱點(diǎn)：

一種視覺錯(cuò)覺，黑點(diǎn)似乎在白線的交點(diǎn)處出現(xiàn)并消失。

單憑人眼是不可靠的-像左圖這樣的錯(cuò)覺可以證明人眼的可靠性如何。這并不一定意味著手動(dòng)檢查是完全沒有用的，但是完全依靠它是不明智的。

平行線似乎在傾斜。

視力不精確-人眼無法進(jìn)行精確的測量，尤其是在很小的規(guī)模上。即使在比較兩個(gè)相似的對象時(shí)，眼睛可能也不會注意到一個(gè)對象比另一個(gè)對象稍小或更大。該概念也適用于特性，例如表面粗糙度，尺寸和任何其他需要測量的因素。

勞動(dòng)力成本 -由于任命了（多名）訓(xùn)練有素的人員，人工檢查仍然是一項(xiàng)昂貴的工作。從成本角度來看，人工檢查操作員的年薪可能在50,000至60,000美元之間。

資料來源：Glassdoor

新時(shí)代的替代

自動(dòng)化的外觀檢查可以通過使外觀檢查的整個(gè)過程獨(dú)立于任何人工干預(yù)來克服這些問題。使用自動(dòng)化系統(tǒng)通常會超過手動(dòng)檢查的標(biāo)準(zhǔn)。

資料來源：Digital Twins

使用深度學(xué)習(xí)和機(jī)器視覺，不僅可以而且很容易實(shí)現(xiàn)構(gòu)建智能系統(tǒng)，該系統(tǒng)執(zhí)行徹底的質(zhì)量檢查，直到最精細(xì)的細(xì)節(jié)。我們不需要走路說話的android機(jī)器人來自動(dòng)進(jìn)行檢查等生產(chǎn)。需要最少的物理設(shè)備來自動(dòng)化外觀檢查過程。相反，由于使用了深度學(xué)習(xí)，該過程變得更加智能。該方法通常涉及諸如圖像采集，預(yù)處理，特征提取，分類等步驟。這也被分類為廣義圖像識別。

什么是深度學(xué)習(xí)？它是什么因素？

深度學(xué)習(xí)技術(shù)使用包含數(shù)千層的神經(jīng)網(wǎng)絡(luò)，這些神經(jīng)網(wǎng)絡(luò)擅長模仿人類智能，以區(qū)分異常，零件和特征，同時(shí)容忍復(fù)雜模式下的自然變化。通過這種方式，深度學(xué)習(xí)將人類視覺檢查的適應(yīng)性與計(jì)算機(jī)系統(tǒng)的速度和魯棒性融合在一起。

深度學(xué)習(xí)教機(jī)器如何做對人類自然的事情：以身作則。新的低成本硬件使部署模擬人腦神經(jīng)元網(wǎng)絡(luò)的多層“深度”神經(jīng)網(wǎng)絡(luò)變得切實(shí)可行。這使制造技術(shù)具有驚人的新功能，可以識別圖像，區(qū)分趨勢以及做出明智的預(yù)測和決策。深度神經(jīng)網(wǎng)絡(luò)從初始訓(xùn)練期間開發(fā)的核心邏輯開始，可以隨著新圖像，語音和文本的出現(xiàn)而不斷完善其性能。

深度學(xué)習(xí)過程的逐層分解（Source）

那么什么是機(jī)器視覺？

機(jī)器視覺是用于提供基于圖像的自動(dòng)檢查的技術(shù)和方法。它是一個(gè)使用視覺計(jì)算技術(shù)的系統(tǒng)，以機(jī)械方式“看到”生產(chǎn)線上一個(gè)接一個(gè)的活動(dòng)。自動(dòng)檢查系統(tǒng)的組件通常包括照明，攝像機(jī)或其他圖像獲取設(shè)備，處理器，軟件和輸出設(shè)備。

在結(jié)構(gòu)化場景的定量和定性測量中，機(jī)器視覺的速度，準(zhǔn)確性和可重復(fù)性優(yōu)于人類視覺。機(jī)器視覺系統(tǒng)可以輕松評估太小而無法被人眼看到的物體細(xì)節(jié)，并以更高的可靠性和更少的誤差對其進(jìn)行檢查。在生產(chǎn)線上，機(jī)器視覺系統(tǒng)可以每分鐘可靠且重復(fù)地檢查數(shù)百或數(shù)千個(gè)零件，遠(yuǎn)遠(yuǎn)超出了人類的檢查能力。

光學(xué)字符識別（左）和缺陷檢測（右）是AVI中機(jī)器視覺的常見方面

傳統(tǒng)的自動(dòng)化系統(tǒng)在最小化成本和提高效率的同時(shí)，還沒有人類所具有的靈活性或容忍度。手工檢查員能夠區(qū)分細(xì)微的，外觀上的和功能上的缺陷，并且可以解釋可能影響感知質(zhì)量的零件外觀變化。盡管人們處理信息的速度受到限制，但是人類具有獨(dú)特的概念化和概括能力。人類擅長通過示例學(xué)習(xí)，并且可以區(qū)分各部分之間的輕微異常真正重要的部分。這就引出了一個(gè)問題，即在許多情況下，機(jī)器視覺如何才能為復(fù)雜，無結(jié)構(gòu)的場景（尤其是那些具有細(xì)微缺陷和無法預(yù)測的缺陷的場景）的定性解釋做出最佳選擇。

為什么機(jī)器視覺和深度學(xué)習(xí)可以在這種情況下攜手并進(jìn)

盡管機(jī)器視覺系統(tǒng)可以承受因縮放，旋轉(zhuǎn)和姿勢變形而導(dǎo)致的零件外觀變化，但復(fù)雜的表面紋理和圖像質(zhì)量問題仍然帶來了嚴(yán)峻的檢查挑戰(zhàn)。單憑機(jī)器視覺系統(tǒng)就無法評估視覺上非常相似的圖像之間存在巨大差異和偏差的可能性。

資料來源：康耐視

基于深度學(xué)習(xí)的系統(tǒng)非常適合本質(zhì)上更復(fù)雜的視覺檢查：以細(xì)微但可容忍的方式變化的模式。深度學(xué)習(xí)擅長解決復(fù)雜的表面和外觀缺陷，例如在車削，刷過或發(fā)亮的零件上的劃痕和凹痕。無論是用來定位，閱讀，檢查或分類感興趣的特征，基于深度學(xué)習(xí)的圖像分析在概念化和泛化零件外觀的能力上都與傳統(tǒng)的機(jī)器視覺有所不同。

使用深度學(xué)習(xí)可以有效應(yīng)對的挑戰(zhàn)性情況（來源：Cognex）

這還不是全部

以下是在制造時(shí)選擇自動(dòng)外觀檢查的更多原因：

更好的感知

機(jī)器視覺具有非常高的光學(xué)分辨率，這取決于用于圖像采集的技術(shù)和設(shè)備。與人的視覺相比，機(jī)器視覺具有“更廣泛”的視覺感知范圍，并且能夠在該范圍的紫外線，X射線和紅外區(qū)域進(jìn)行觀察。

更快—觀察和結(jié)論都非?？?，其速度以FLOPs為單位來衡量計(jì)算機(jī)的速度，并且還可以進(jìn)行精確的計(jì)算。

該系統(tǒng)具有與更高處理速度相關(guān)聯(lián)的所有功能以及潛在的無限存儲容量。

可靠—按照說明，毫無疑問，系統(tǒng)無偏見且可根據(jù)需要進(jìn)行編程。

準(zhǔn)確—自動(dòng)化系統(tǒng)能夠以標(biāo)準(zhǔn)化方式測量絕對尺寸。

不依賴于環(huán)境—這樣的系統(tǒng)可以部署在危險(xiǎn)和危險(xiǎn)的條件下，或者可能被人類冒險(xiǎn)的環(huán)境中。

如何開始自動(dòng)外觀檢查

在需求方面，AVI并不需要太多的物理設(shè)備。開始自動(dòng)化外觀檢查所需的設(shè)備可以分為硬件和軟件資源。

硬件

這些資源由主要設(shè)備（例如照相機(jī)，光度計(jì)，色度計(jì)）和可選的輔助設(shè)備（例如分級或分選所需的輔助設(shè)備）組成，這取決于工業(yè)和自動(dòng)化流程。

我們本質(zhì)上是在拍照并分析圖像，您只需一臺照相機(jī)！

根據(jù)使用設(shè)備的行業(yè)，實(shí)際可以將物理設(shè)備分為三個(gè)子系統(tǒng)。

進(jìn)紙系統(tǒng)?—均勻地散布物品并以恒定速度移動(dòng)它們，以便光學(xué)系統(tǒng)可以捕獲單個(gè)物品的框架。

光學(xué)系統(tǒng)?—由專門調(diào)整的光源和傳感器（通常是數(shù)碼相機(jī)）組成。光學(xué)系統(tǒng)捕獲被檢物品的圖像，以便軟件可以處理和分析它們。

分離系統(tǒng)—清除有缺陷的項(xiàng)目和/或等級，并根據(jù)產(chǎn)品的質(zhì)量將其分為幾類。

自動(dòng)外觀檢查的處理流程

軟件

AVI的主要要求是軟件層，其核心是計(jì)算機(jī)視覺技術(shù)，該技術(shù)可幫助檢查產(chǎn)品或任何感興趣的對象是否存在缺陷以及某些部件是否存在。自動(dòng)化視覺檢查系統(tǒng)的軟件部分需要高級圖像分析算法和繁重的編程。這些算法處理圖像以調(diào)整其質(zhì)量，找到有趣的點(diǎn)和區(qū)域，最后根據(jù)這些區(qū)域中發(fā)現(xiàn)的特征進(jìn)行決策。

深度學(xué)習(xí)技術(shù)使自動(dòng)視覺檢查系統(tǒng)的性能優(yōu)于人類或傳統(tǒng)機(jī)器視覺過程

由于深度學(xué)習(xí)模型在解決檢查問題方面取得了巨大的成功，因此已被證明是該軟件不可或缺的一部分?？梢栽诼菟ǖ臄?shù)千個(gè)圖像上對它們進(jìn)行訓(xùn)練，深度學(xué)習(xí)算法會逐漸學(xué)會檢測與螺栓“標(biāo)準(zhǔn)”外觀的任何有意義的偏差。根據(jù)您的用例，可以使用一個(gè)或多個(gè)不同任務(wù)（例如對象檢測，語義分割和圖像分類）來解決您的檢查問題。它還可能涉及OCR模型以讀取序列號或條形碼。

為了維持高圖像處理速度，通常必須在高資源計(jì)算機(jī)上部署經(jīng)過訓(xùn)練的深度學(xué)習(xí)模型。例如，必須有GPU才能實(shí)時(shí)獲取結(jié)果。

在最終的檢查模型準(zhǔn)確性和性能中，有幾個(gè)因素起作用—照明條件，要檢查的產(chǎn)品數(shù)量，要查找的缺陷類型，缺陷/物體的大小，圖像的分辨率等。因此，一個(gè)自動(dòng)化的外觀檢查系統(tǒng)需要一支由熟練的研發(fā)工程師組成的團(tuán)隊(duì)，他們能夠構(gòu)建這種復(fù)雜的系統(tǒng)。

每個(gè)制造單位都有不同且通常唯一的數(shù)據(jù)（圖像），這可能是由于不同的相機(jī)類型，室內(nèi)照明或產(chǎn)品本身。因此，AVI的軟件部分始終是為特定檢查需求量身定制的定制解決方案。

責(zé)任編輯：lq