今天跟大家分享關(guān)于機(jī)器視覺(jué)應(yīng)用方向項(xiàng)目流程及學(xué)習(xí)思路總結(jié)

1. 視覺(jué)項(xiàng)目介紹

機(jī)器視覺(jué)在工業(yè)上的需求主要有二維和三維方面的。

二維方面的有：

識(shí)別定位：①Blob分析（主要包括二值化、形態(tài)學(xué)處理、特征選擇。ps:受光照影響較大）②模板匹配（常用的是Shape匹配和Ncc匹配，有時(shí)還會(huì)用到可變形模板）；OCR光學(xué)字符識(shí)別；一維碼、二維碼識(shí)別及二者的結(jié)合；測(cè)量類(lèi)（單目相機(jī)的標(biāo)定、相機(jī)自標(biāo)定）缺陷檢測(cè)系列；運(yùn)動(dòng)控制，手眼抓?。ㄉ婕笆盅蹣?biāo)定抓取等方面）

三維方面的有：

攝像機(jī)雙目及多目標(biāo)定、三維點(diǎn)云數(shù)據(jù)重構(gòu)

2. 總體項(xiàng)目流程

做機(jī)器視覺(jué)的項(xiàng)目，拿到項(xiàng)目時(shí)一般遵循如下流程：

（1）需求分析

（2）方案設(shè)計(jì)：根據(jù)客戶(hù)應(yīng)用的場(chǎng)合不同，選擇相應(yīng)的鏡頭、相機(jī)、支架、光源及如何打光（感興趣的可看看《工程光學(xué)》一書(shū)）等。

（3）概要設(shè)計(jì)：包含軟件架構(gòu)體系，視覺(jué)開(kāi)發(fā)環(huán)境（vc++聯(lián)合halcon還是c#聯(lián)合halcon等），還有算法流程（怎么通訊、怎么識(shí)別等）。

（4）詳細(xì)設(shè)計(jì)：每一個(gè)功能模塊怎么做，包括圖像采集模塊、處理模塊、包括算法模塊，如何通訊等。通常將每個(gè)模塊形成一個(gè)動(dòng)態(tài)庫(kù)，調(diào)用相應(yīng)的接口函數(shù)即可，項(xiàng)目圖像采集調(diào)用SDK也是調(diào)用動(dòng)態(tài)庫(kù)的過(guò)程。

（5）測(cè)試、調(diào)試和修改。

（6）客戶(hù)交付、確認(rèn)。

（7）調(diào)試：根據(jù)客戶(hù)反饋結(jié)果來(lái)不斷的修改程序Bug。

（8）達(dá)到客戶(hù)需求，最后交付客戶(hù)及軟硬件操作文檔。

（9）后期維護(hù)。

3. 視覺(jué)算法流程

圖像采集

圖像預(yù)處理：包含幾何變換、灰度處理、圖像增強(qiáng)、圖像濾波、二值化、圖像細(xì)化等

注：圖像預(yù)處理在視覺(jué)算法中一般是可選項(xiàng)，圖像效果很好的時(shí)候可跳過(guò)該步

定位（blob分析、模板匹配）

特征提取：包含幾何特征（面積、周長(zhǎng)、矩形度）、紋理特征（與灰度相關(guān)，如熵、能量值）、概率特征、角點(diǎn)、特征描述算子特征等，直接影響定位、識(shí)別的效果對(duì)特征區(qū)域進(jìn)行處理（根據(jù)不同工業(yè)需求選擇對(duì)應(yīng)的檢測(cè)識(shí)別算法）結(jié)果顯示

4. 機(jī)器視覺(jué)工程師需要具備的能力

4.1 圖像處理相關(guān)知識(shí)

涉及以下幾大領(lǐng)域：

圖像處理的基本理論知識(shí)（圖像理論的基礎(chǔ)知識(shí)）

圖像增強(qiáng)（對(duì)比度拉伸、灰度變換等）

圖像的幾何變換（仿射變換，旋轉(zhuǎn)矩陣等）

圖像的頻域處理（傅里葉變換、DFT、小波變換、高低通濾波器設(shè)計(jì)）

形態(tài)學(xué)（膨脹、腐蝕、開(kāi)運(yùn)算和閉運(yùn)算以及凸殼等）

圖像分割（HALCON里的Blob分析）

圖像復(fù)原

運(yùn)動(dòng)圖像

圖像配準(zhǔn)（模板匹配等）

模式識(shí)別（分類(lèi)器訓(xùn)練，神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)等）

學(xué)習(xí)參考資料：

經(jīng)典教材：岡薩雷斯的《數(shù)字圖像處理》及對(duì)應(yīng)的MATLAB版

楊丹等編著《MATLAB圖像處理實(shí)例詳解》

張錚等編著《數(shù)字圖像處理與機(jī)器視覺(jué)——Visual C++與MATLAB實(shí)現(xiàn)》

左飛編著的《數(shù)字圖像處理：原理與實(shí)踐（MATLAB版）》

左飛編著的《數(shù)字圖像處理技術(shù)詳解與Visual C++實(shí)踐》

謝鳳英編著的《Visual C++數(shù)字圖像處理》

《精通系列·精通Visual C++數(shù)字圖像處理典型算法及實(shí)現(xiàn)(第2版)》

4.2 軟件編程功底

軟件功底的作用是軟件的架構(gòu)設(shè)計(jì)分析，架構(gòu)包括UI層設(shè)計(jì)、業(yè)務(wù)邏輯層開(kāi)發(fā)、數(shù)據(jù)層開(kāi)發(fā)。以下三個(gè)方面，每個(gè)方面至少會(huì)一種，具體選擇視所在公司應(yīng)用而定：

編程語(yǔ)言：C#，C，C++（自己用哪個(gè)就學(xué)哪個(gè)）

界面框架：C#界面，Qt界面，MFC界面（比較老了，以前的項(xiàng)目用的較多）

圖像算法處理軟件：HALCON，VisionPro，OpenCV等

學(xué)習(xí)資料參考：

1.C# 可以看書(shū)籍《C#從入門(mén)到精通》、《Head First C#》、《C#入門(mén)經(jīng)典》、《C#圖解教程》、《C#高級(jí)編程》、《.Net Frameword 高級(jí)編程》、《CLR via C#》

2.C 語(yǔ)言的學(xué)習(xí)主要看譚浩強(qiáng)寫(xiě)的C語(yǔ)言相關(guān)知識(shí)

3.C++主要看《C++ primer plus》書(shū)籍

4.Qt 學(xué)習(xí)可以看《Qt Creator快速入門(mén)》(入門(mén))、《C++ GUI Qt4》(進(jìn)階)

5.MFC 的學(xué)習(xí)主要看孫鑫編寫(xiě)的《VC++深入詳解》這本書(shū)及相應(yīng)的視頻教程，并在VC++6.0軟件或VS2010等軟件上編寫(xiě)程序和實(shí)踐

4.3 視覺(jué)硬件知識(shí)

主要在你設(shè)計(jì)方案時(shí)相機(jī)、鏡頭、光源等選型時(shí)起到關(guān)鍵作用。

學(xué)習(xí)資料參考：

主要閱讀書(shū)籍《工程光學(xué)》、重點(diǎn)放在幾何光學(xué)方面，了解成像原理及相應(yīng)的光路分析，知道光源的特性、鏡頭分辨率、相機(jī)分辨率等方面的知識(shí)。

5. 學(xué)習(xí)機(jī)器視覺(jué)的一些建議

1.學(xué)習(xí)機(jī)器視覺(jué)一定要結(jié)合項(xiàng)目實(shí)戰(zhàn)，在實(shí)踐中學(xué)習(xí)總結(jié)經(jīng)驗(yàn)教訓(xùn)，系統(tǒng)化學(xué)習(xí)所需知識(shí)。

2.補(bǔ)充一定的C++和c#知識(shí)，進(jìn)行VS聯(lián)合開(kāi)發(fā)，客戶(hù)現(xiàn)場(chǎng)的學(xué)習(xí)和現(xiàn)場(chǎng)調(diào)試，不斷學(xué)習(xí)示例分析，掌握方法套路流程。

3.根據(jù)實(shí)際問(wèn)題，學(xué)習(xí)模塊調(diào)用，按照方法套路學(xué)習(xí)。

4.最好是先用Halcon等視覺(jué)處理軟件實(shí)現(xiàn)圖像處理部分，然后在VS開(kāi)發(fā)軟件中利用MFC或Qt等圖形界面實(shí)現(xiàn)出來(lái)，實(shí)踐學(xué)習(xí)是最好的方法。

機(jī)器視覺(jué)學(xué)習(xí)的發(fā)展趨勢(shì)是結(jié)合神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)進(jìn)行相應(yīng)的人工智能機(jī)器視覺(jué)開(kāi)發(fā)。

審核編輯 ：李倩