輸入輸出接口 Input： （1）4個(gè)攝像頭采集的圖像視頻分辨率 （整型int） （2）4個(gè)攝像頭采集的圖像視頻格式 （RGB，YUV，MP4等） （3）攝像頭標(biāo)定參數(shù)（中心位置（x,y）和5個(gè)畸變 系數(shù)（2徑向，2切向，1棱向），浮點(diǎn)型float） （4）攝像頭初始化參數(shù)（攝像頭初始位置和三個(gè)坐標(biāo)方向 的旋轉(zhuǎn)角度，車輛寬度高度車速等等，浮點(diǎn)型float） Output： （1）圖像融合和拼接的image/video的坐標(biāo)位置（浮點(diǎn)型float） （2）圖像融合和拼接的圖像視頻分辨率（整型int） （3）圖像融合和拼接的圖像視頻格式 （RGB，YUV，MP4等） （4）車輛周圍障礙物報(bào)警 （字符型char）22.1功能定義 1）計(jì)算圖像融合和拼接的image/video的坐標(biāo)位置。 2）算出圖像融合和拼接的圖像視頻分辨率。 3）確定圖像融合和拼接的圖像視頻格式。 4）檢測(cè)車輛周圍障礙物并報(bào)警。22.2技術(shù)路線方案 在360°全景視圖泊車輔助系統(tǒng)中，通過(guò)安裝在車輛前、后、左、右 4 個(gè)方位的廣角攝像頭采集車輛四周的視頻影像，利用圖像融合和拼接技術(shù)合成一幅車身周圍的全景視圖，最后在中控臺(tái)的屏幕上顯示，以擴(kuò)大駕駛員視野。借助360°全景視圖泊車輔助系統(tǒng)，駕駛員坐在車中即可直觀地看到車輛周圍是否存在障礙物以及障礙物的相對(duì)方位與距離，以便在狹窄擁堵的停車場(chǎng)從容操控車輛泊車入位或通過(guò)復(fù)雜的路面，可有效防止刮蹭、碰撞、陷落等事故的發(fā)生。同時(shí)，全景視圖也可以為自動(dòng)駕駛系統(tǒng)中識(shí)別、檢測(cè)、跟蹤等算法提供支持。 富士通(Fujitsu)開(kāi)發(fā)的視頻成像技術(shù)， 可實(shí)時(shí)實(shí)現(xiàn)車輛的完整360°環(huán)繞視圖。四個(gè)相機(jī)安裝在車輛前后左右周邊，車輛周圍環(huán)境的視頻圖像通過(guò)富士通的3D虛擬投影/視點(diǎn)轉(zhuǎn)換技術(shù)進(jìn)行合成。先進(jìn)的三維算法可以比較流暢地結(jié)合四個(gè)獨(dú)立相機(jī)的圖像，提供一個(gè)無(wú)縫和清晰的360°視圖。具體來(lái)說(shuō)，四個(gè)攝像頭的圖像被發(fā)送到視頻處理LSI，包括視頻捕捉和3D功能，然后相機(jī)圖像合成為單個(gè)實(shí)時(shí)3D圖像并投影到三維碗形網(wǎng)格，生成虛擬3D環(huán)繞視頻，可以任意轉(zhuǎn)換車輛周圍環(huán)境視圖視角。 圖1. 富士通環(huán)視方案流程圖 為了滿足視頻拼接的實(shí)時(shí)性要求，同時(shí)考慮到攝像頭安裝的位置、角度以及不同攝像頭之間相互位置相對(duì)固定，在本項(xiàng)目中可以使用基于特定圖像拼接與查表法相結(jié)合的多視點(diǎn)視頻拼接方法。在初始化階段，首先采集預(yù)先放置于車輛前、后、左、右 4個(gè)方位的帶有棋盤格的標(biāo)定圖像，利用標(biāo)定圖像分別對(duì)4個(gè)攝像頭進(jìn)行參數(shù)標(biāo)定，求出并保存每個(gè)攝像頭圖像畸變矯正參數(shù)，對(duì)標(biāo)定圖像進(jìn)行畸變矯正，消除攝像頭成像失真；然后對(duì)畸變矯正后的標(biāo)定圖像進(jìn)行射影變換，求出并保存射影變換參數(shù)；接著采集預(yù)先放置于車輛前、后、左、右4個(gè)方位的帶有豐富特征點(diǎn)的特定圖像，并通過(guò)查找攝像頭圖像畸變矯正參數(shù)進(jìn)行畸變矯正，通過(guò)查找射影變換參數(shù)將矯正后的特定圖像變換成俯瞰圖；最后對(duì)4個(gè)俯瞰圖提取 ORB( Oriented FAST and Rotated BRIEF) 特征并進(jìn)行粗匹配，利用 RANSAC( Random Sample Consensus，隨機(jī)抽樣一致) 算法剔除誤匹配點(diǎn)，并擬合出單應(yīng)性矩陣的初始值，再使用 Levenberg-Marquardt 非線性迭代最小逼近法進(jìn)行求精，經(jīng)圖像配準(zhǔn)、融合和拼接后，生成360°俯瞰全景視圖。在泊車輔助系統(tǒng)啟用期間，通過(guò)查找已保存的攝像頭圖像畸變矯正參數(shù)、射影變換參數(shù)以及單應(yīng)性矩陣參數(shù)，將4個(gè)攝像頭的視頻圖像進(jìn)行拼接，生成虛擬的俯瞰全景視圖。 由于攝像頭內(nèi)外參數(shù)校正準(zhǔn)確性對(duì)圖像投影效果影響大；需要結(jié)合攝像頭安裝具體情況進(jìn)行算法的調(diào)整；為滿足嵌入式系統(tǒng)實(shí)時(shí)性需求，需要不斷優(yōu)化算法；盡量進(jìn)行流程簡(jiǎn)化或者流程自動(dòng)化。 圖2. 算法流程 圖3. 攝像頭成像及其坐標(biāo)系 主要數(shù)學(xué)原理，世界坐標(biāo)系中某點(diǎn)投影到圖像平面上的像素點(diǎn)( u，v).該過(guò)程要經(jīng)過(guò)齊次坐標(biāo)轉(zhuǎn)換： 其中，s為任意的非零比例因子；αu=f/dx，f是攝像頭的焦距，dx代表x軸方向一個(gè)像素的寬度是圖像在 u 軸上的尺度因子，或稱為u軸上的歸一化焦距； ?，其中dy代表y軸方向一個(gè)像素的高度，αv是圖像在v軸上的尺度因子，或稱為v軸上的歸一化焦距；，它們是攝像頭坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)向量；?是攝像頭坐標(biāo)系相對(duì)于世界坐標(biāo)系的平移向量；M1 由決定，只與攝像頭內(nèi)部參數(shù)有關(guān)，稱為攝像頭內(nèi)部參數(shù)矩陣；M2 由攝像頭相對(duì)于世界坐標(biāo)系的方位決定，稱為攝像頭外部參數(shù)矩陣；M 是一個(gè)3×4矩陣，稱作投影矩陣，用于計(jì)算從世界坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換。可見(jiàn)，若已知攝像頭的內(nèi)、外參數(shù)，就能夠知道投影矩陣 M，對(duì)空間內(nèi)任何一點(diǎn)，如果已知它的空間坐標(biāo)，就可以求出對(duì)應(yīng)的像素點(diǎn)坐標(biāo)(u，v) 。 ? ? ?張正友標(biāo)定法，采用棋盤格平面靶標(biāo)作為標(biāo)定物，可以把世界坐標(biāo)系構(gòu)造在 Zw = 0的平面上。 ? ? ?其中，和是徑向畸變系數(shù)。將式（3）化成矩陣形式為 ? ? ?以上是畸變矯正公式。 ? ?以上是射影變換。 ? ? ?以上是畸變矯正及射影變換所對(duì)應(yīng)的坐標(biāo)像素計(jì)算公式。 ? ? ?以上是圖像拼接單應(yīng)性矩陣求解公式。 ? ? ?以上是平均值法對(duì)拼接重疊區(qū)域進(jìn)行融合。 ? ? ?以上是3-D ship模型視角轉(zhuǎn)換矩陣。 ?

圖4. alpha fusion22.3關(guān)鍵技術(shù)參數(shù)和性能指標(biāo) 一種基于自適應(yīng)特征點(diǎn)配準(zhǔn)的環(huán)視系統(tǒng)拼接效果評(píng)估和自動(dòng)微調(diào)方法，其特征在于：包括以下步驟： 步驟A、獲得拼接前圖像，并截取根據(jù)拼接參數(shù)算出的拍攝的相同位置的圖像； 步驟B、采用自適應(yīng)特征點(diǎn)配準(zhǔn)算法來(lái)獲得拼接前相同位置的圖像的旋轉(zhuǎn)平移矩陣； 步驟C、將旋轉(zhuǎn)平移矩陣或者對(duì)其進(jìn)行計(jì)算得到的角度信息和位移信息作為環(huán)視系統(tǒng)拼接效果的評(píng)估指標(biāo)，并用此矩陣對(duì)拼接效果進(jìn)行微調(diào)。