導(dǎo)語：

????????隨著機(jī)器視覺應(yīng)用的日益廣泛，大幅面 多相機(jī) 視覺系統(tǒng)的需求越來越多，主要應(yīng)用方向?yàn)榇蠓?a target="_blank">高精度的定位與測量和場景拼接等。

????????多相機(jī)視覺系統(tǒng)的難點(diǎn)在于多相機(jī)坐標(biāo)系的統(tǒng)一. 可以分為兩類，一是相機(jī)視野間無重疊部分，二是相機(jī)視野間有重疊部分。

????????相機(jī)間無重疊部分的情況主要用于大幅面多相機(jī)高精度的定位和測量，相機(jī)間有重疊部分的情況主要用于場景的拼接等。

一. 相機(jī)間無重疊部分，介紹兩種典型方法。

????1.?使用大標(biāo)定板統(tǒng)一坐標(biāo)

常用的標(biāo)定板形式：

上圖所示為單個標(biāo)定板圖像，大標(biāo)定板由若干單個標(biāo)定板組成，標(biāo)定板的大小和數(shù)量根據(jù)實(shí)際測量情況而定。

多個標(biāo)定板組合示意圖：

(1) 通過機(jī)械手的移動獲取標(biāo)定所用坐標(biāo)?(三點(diǎn)線性標(biāo)定法)

組1相機(jī)1：?

把Mark點(diǎn)移動到相機(jī)視野中，定相機(jī)的初始位置，得到初始Mark點(diǎn)的中心坐標(biāo)Point11(cRow11, cColumn11)，機(jī)械手沿X方向移動一定距離(5mm)后得到Mark點(diǎn)的中心坐標(biāo)Point12 (cRow12, cColumn12)，機(jī)械手沿Y方向移動一定距離(6mm)后得到Mark點(diǎn)的中心坐標(biāo)Point13(cRow13, cColumn13)，同時可以得到在上述三個位置機(jī)械手的空間坐標(biāo)Robot11(X1[0]，Y1[0])、?Robot12(X1[1]，Y1[1])?、Robot13(X1[2]，Y1[2])。?
組1相機(jī)2：?

同上，把相同Mark點(diǎn)移動到相機(jī)視野中，通過相同的操作得到坐標(biāo)：Point21 (cRow21, cColumn21)、Point22 (cRow22, cColumn22)、Point23 (cRow23, cColumn23)、Robot21 (X2[0]，Y2[0])、?Robot22(X2[1]，Y2[1])、Robot23(X2[2]，Y2[2])。?

(2)?圖像距離和實(shí)際距離之間轉(zhuǎn)換比例關(guān)系的確定：?

通過數(shù)學(xué)運(yùn)算可計算得到比例關(guān)系。?

(3)??旋轉(zhuǎn)中心的確定?

依據(jù)三個點(diǎn)就可以確定一個圓的原理，讓機(jī)械手在初始位置旋轉(zhuǎn)三次，得到Robot31，Robot32和Robot33三個相對于機(jī)械手坐標(biāo)系的坐標(biāo)點(diǎn)，三個點(diǎn)的坐標(biāo)就可以求出旋轉(zhuǎn)圓心的坐標(biāo)。

(4)?標(biāo)準(zhǔn)線斜率求?。?

需要在兩個相機(jī)的視野中各選取一點(diǎn)作為標(biāo)準(zhǔn)線的起始點(diǎn)和終點(diǎn)，然后求取此標(biāo)準(zhǔn)線在機(jī)械手坐標(biāo)系中的斜率。調(diào)整機(jī)械手到合適位置，確定此處為標(biāo)準(zhǔn)位置，此時組1的兩支相機(jī)分別拍攝初始位置的兩個不同的Mark點(diǎn)的圖像。通過模板匹配方法找到兩個相機(jī)初始位置視野中兩個Mark點(diǎn)的中心坐標(biāo)Point10(Row10,Column10)和Point20(Row20,Column20)，Point10和Point20確定為標(biāo)準(zhǔn)線的起始點(diǎn)和終點(diǎn)。求取Point10在機(jī)械手中的坐標(biāo)如下圖所示，下圖中XOY是機(jī)械手坐標(biāo)系，X1O1Y1是組1相機(jī)1的圖像坐標(biāo)。

定位校準(zhǔn)?
????????以后在每次進(jìn)行檢測時，得到的結(jié)果都和標(biāo)準(zhǔn)線進(jìn)行比較，可以得到和標(biāo)準(zhǔn)線的夾角和相對于標(biāo)準(zhǔn)位置的位置偏差，根據(jù)得到的角度和位置偏差進(jìn)行校正。在校正過程中需要先旋轉(zhuǎn)后平移，做一個閉環(huán)反饋系統(tǒng)實(shí)時校正。

應(yīng)用領(lǐng)域：?

手機(jī)或平板電腦觸摸屏和外殼的裝配定位。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

二. 相機(jī)間有重疊部分，介紹兩種典型方法。

1. 標(biāo)定方法拼接圖像?

方案簡介：?

????????對于有些大幅面物體 ，可以通過拍攝多幅圖像，每幅圖像覆蓋物體的不同的部分。如果攝像機(jī)經(jīng)過標(biāo)定并且它們與一個共有的世界坐標(biāo)系之間的相對關(guān)系已知，就可以通過不同的圖像進(jìn)行精確測量。?甚至可以將多幅圖像拼接為一副覆蓋整個物體的大圖，這個可以通過將每幅圖像都校正到同一個測量平面上實(shí)現(xiàn)。在結(jié)果圖像上，可以直接在世界坐標(biāo)系中進(jìn)行測量。?圖像拼接示意圖：

安裝：?
????????兩個攝像機(jī)或多個攝像機(jī)必須安裝在一個穩(wěn)定的平臺上，并且每幅圖像覆蓋整個場景的一部分。攝像機(jī)的方位可以隨意，也就是說不需要它們看起來平行或垂直于物體表面。調(diào)整攝像機(jī)焦距、燈光以及交迭區(qū)域，使用一個大的可以覆蓋整個視野的參照物。為了保證可以將多幅圖像拼接為一副大圖，它們之間必須存在一個小的交迭區(qū)域。交迭區(qū)域可以很小，因?yàn)檫@個交迭區(qū)域只是為了保證在拼接的結(jié)果圖像中沒有縫隙，下圖為交疊區(qū)域示意圖。

標(biāo)定：?
????????圖像的標(biāo)定可以分為兩個步驟。?
????????確定每個攝像機(jī)的內(nèi)參。可以分別對每個攝像機(jī)進(jìn)行標(biāo)定求取攝像機(jī)的內(nèi)參。?
????????確定所有攝像機(jī)的外參。因?yàn)樽詈笠獙⑺械膱D像轉(zhuǎn)換到某一個世界坐標(biāo)系中，所以需要使用一個大的標(biāo)定物，這個標(biāo)定物可以出現(xiàn)在所有的圖像中，它可以由多個標(biāo)定板組合而成，標(biāo)定板的數(shù)量和使用攝像機(jī)的數(shù)量一致。下圖為兩個相機(jī)分別拍攝到的標(biāo)定圖像。?
??
????????注意：為了確定攝像機(jī)的外參，每個攝像機(jī)只需要拍攝一副標(biāo)定圖像就已經(jīng)足夠。標(biāo)定物在多個攝像機(jī)分別進(jìn)行拍攝標(biāo)定圖像的過程中不可以移動。理想情況下，這些標(biāo)定圖像應(yīng)該同時獲取。

將單個圖像拼接為一個大圖：?
????????首先，每幅圖像都必須進(jìn)行校正，將這些圖像轉(zhuǎn)換到一個共有的坐標(biāo)系中，它們之間就會正確匹配。在得到所有進(jìn)行校正圖像需要的映射圖后，使用兩個攝像機(jī)拍攝的每個圖像對都可以進(jìn)行校正并且高效的拼接。拼接的結(jié)果圖由兩幅校正后的圖像組成，每個校正后的圖像占圖像的一個部分，下圖為校正后的圖像和拼接結(jié)果。

應(yīng)用領(lǐng)域：?
液晶面板表面質(zhì)量的檢測?

2. 非標(biāo)定方法拼接圖像

簡介：?
? ? ? ?此種方法和前三種方法相比精度較低，適用于不需要實(shí)現(xiàn)高精度拼接的應(yīng)用場合。這種拼接方法的優(yōu)點(diǎn)是不需要進(jìn)行攝像機(jī)標(biāo)定，并且每幅單獨(dú)的圖像可以自動進(jìn)行排列。?
拍攝單幅圖像規(guī)則：?

在拍攝每幅圖像時需要遵循下面這些規(guī)則：?
????????(1) 相鄰的圖像之間必須有交迭?
????????(2) 圖像之間的交迭區(qū)域必須有比較明顯的特征，這樣就可以保證比較精確的自動匹配過程。如果在某些交迭區(qū)域內(nèi)的特征不明顯那么可以通過定義合適的圖像對來克服。如果整個物體的特征都不是特別明顯，那么交迭區(qū)域就應(yīng)該更大一些。?
????????(3) 交迭的圖像的縮放比例必須大約相等。一般情況下，縮放比例的不同不能超過?5－10％?
????????(4) 這些圖像的亮度應(yīng)該相似，至少在交迭區(qū)域部分的亮度相似。否則，如果亮度區(qū)別非常明顯的話，圖像之間的接縫在結(jié)果圖像中就非常明顯，如下圖所示。

定義交疊圖像對：?
? ? ? ?需要定義一些交迭圖像對，通過匹配確定這些圖像對之間的轉(zhuǎn)換關(guān)系。匹配的過程只會應(yīng)用在這些交迭圖像對上。

如果需要拼接的圖像比較多，或者交迭圖像每行圖像比較多，此時合理徹底地安排圖像對的配置十分重要。否則就可能有些圖像不能實(shí)現(xiàn)精確匹配。這主要是因?yàn)樵肼曉斐牲c(diǎn)坐標(biāo)的一些誤差導(dǎo)致不能準(zhǔn)確計算圖像之間的轉(zhuǎn)換關(guān)系，這些誤差會由一個圖像傳到下一幅圖像上。?

提取圖像中的特征點(diǎn)：
????? ?提取出的特征點(diǎn)的數(shù)量影響運(yùn)行時間以及匹配的結(jié)果。特征點(diǎn)的數(shù)量越多，匹配的過程就越慢。但是太少的特征點(diǎn)將增大產(chǎn)生錯誤結(jié)果的可能性。?

在交迭的區(qū)域中匹配特征點(diǎn)并且確定圖像之間轉(zhuǎn)換關(guān)系：?
????????在進(jìn)行圖像拼接過程中最重要的任務(wù)就是圖像對之間的匹配過程。匹配的圖像對可以有任意的平移和旋轉(zhuǎn)，唯一的要求就是圖像應(yīng)該有大約相同的縮放比例。如果圖像之間平移和旋轉(zhuǎn)的信息可用，它就可以用來限定尋找區(qū)域，這樣就可以加速匹配過程并且使算法更加健壯。匹配特征點(diǎn)過程如下圖所示。

生成拼接圖像?
? ? ? ? 知道了圖像對之間的轉(zhuǎn)換關(guān)系，就可以調(diào)用函數(shù)進(jìn)行圖像拼接，下圖為拼接好的圖像。

注意：?
? ? ? ?需要注意球面拼接的情況，上述方法只適用于攝像機(jī)繞光心旋轉(zhuǎn)或縮放。如果攝像機(jī)的移動包含平移或不是嚴(yán)格繞光心的旋轉(zhuǎn)，使用這種方法得到的拼接結(jié)果將不準(zhǔn)確也就不能夠用在精確測量的場合。?

應(yīng)用領(lǐng)域：?
(1)?街景的拼接。?
(2) 電子地圖的制作。?
(3) 醫(yī)學(xué)影像的拼接。

編輯：黃飛