Simultaneous Localization And Mapping（同時(shí)建圖與定位）

可以分為四大部分：initialization， tracking， local mapping， global optimization

視覺(jué)SLAM主要涉及的知識(shí)

多視角幾何：投影幾何，相機(jī)模型

圖像處理：特征提取，特征點(diǎn)跟蹤

優(yōu)化算法：非線性優(yōu)化算法（Levenberg-Marquardt法）

INITIALIZATION

一般將第一張圖像進(jìn)入系統(tǒng)時(shí)的相機(jī)位姿作為V-SLAM系統(tǒng)的參考坐標(biāo)系

選取之后輸入的某張圖像計(jì)算和第一張圖像匹配角點(diǎn)并三角化獲取深度，生成候選的初始化MAP

重投影計(jì)算誤差，如果誤差太大則重新選取圖像

直到誤差小于閾值，進(jìn)行一次優(yōu)化，得到初始化MAP

TRACKING

計(jì)算當(dāng)前圖像和之前相近圖像的關(guān)系（特征點(diǎn)匹配，光流法，邊緣跟蹤等等）

根據(jù)計(jì)算出的關(guān)系，通過(guò)相應(yīng)算法估計(jì)當(dāng)前相機(jī)的大概位置

其中“直接法”將前面兩部合并為一步來(lái)執(zhí)行

LOCAL MAPPING

可以采取滑動(dòng)窗口的方式或者挑選某些關(guān)鍵幀來(lái)建立局部地圖

當(dāng)某一幀圖像根據(jù)策略算法選為關(guān)鍵幀后，添加到局部地圖的關(guān)鍵幀隊(duì)列中

管理局部地圖中存在的點(diǎn)云

進(jìn)行局部的Bundle Adjustment（BA）

最后進(jìn)行關(guān)鍵幀的管理

GLOBAL OPTIMIZATION

利用BOW挑選出候選回環(huán)幀

對(duì)候選回環(huán)幀進(jìn)行驗(yàn)證，確保是正確的回環(huán)

根據(jù)回環(huán)幀計(jì)算累積漂移誤差

最后進(jìn)行全局優(yōu)化

語(yǔ)義SLAM

為什么要語(yǔ)義？

對(duì)環(huán)境的魯棒性（動(dòng)態(tài)環(huán)境）

獲取地圖的先驗(yàn)信息，得到更高精度（添加語(yǔ)義約束）

更好地回環(huán)檢測(cè)

人機(jī)交互（如CAD制圖）

傳統(tǒng)回環(huán)檢測(cè)

目前比較主流的回環(huán)檢測(cè)方法一般都依賴于BoW（bag of visual words）方法

開(kāi)源庫(kù)：DBoW2： https://github.com/dorian3d/DBoW2（當(dāng)然還有DBoW3，fbow）

連續(xù)幀匹配DLoopDetector：https://github.com/dorian3d/DLoopDetector

ORB-SLAM，VINS等都使用了DBoW2

其他檢索方式還有LSH（Locality-Sensitive Hashing）以及

LLC（Locality-constrained Linear Coding）

語(yǔ)義能夠給SLAM系統(tǒng)帶來(lái)的好處

支持中長(zhǎng)期的tracking

環(huán)境適應(yīng)性更強(qiáng)（魯棒性）

潛在的人機(jī)交互特性

語(yǔ)義SLAM系統(tǒng)和傳統(tǒng)SLAM系統(tǒng)對(duì)比

由于我們 人類見(jiàn)過(guò)大量的圖像，形成了一種天生的直覺(jué)，對(duì)大部分場(chǎng)景都有一個(gè)直觀的距離感 （空間感），它可以幫助我們判斷圖像中物體的遠(yuǎn)近關(guān)系。

1.平移之后才能計(jì)算深度

2.無(wú)法確定真實(shí)尺度

原因是通過(guò)單張圖像無(wú)法確定深度。

深度相機(jī)（稱RGB-D相機(jī)）最大的特點(diǎn)是可以通過(guò)紅外結(jié)構(gòu)光或Time-of-Flight（ToF） 原理，像激光傳感器那樣，通過(guò)主動(dòng)向物體發(fā)射光并接收返回的光，測(cè)出物體與相機(jī)之間的距離。這部分是通過(guò)物理的測(cè)量手段來(lái)解決的，所以不需要大量的算力。

ToF

基本原理是通過(guò)連續(xù)發(fā)射光脈沖（一般為不可見(jiàn)光）到被觀測(cè)物體上，然后用傳感器接收從物體返回的光，通過(guò)探測(cè)光脈沖的飛行（往返）時(shí)間來(lái)得到目標(biāo)物距離。

結(jié)構(gòu)光

結(jié)構(gòu)光測(cè)距是用一個(gè)光源（常用是紅外）將一定的圖案投射到物體上，再用攝像頭收集變形后的圖案進(jìn)行深度計(jì)算。

這種方法比純雙目匹配好的地方在于，參考圖像不是獲取的，而是經(jīng)過(guò)專門(mén)設(shè)計(jì)的圖案 ，因此特征點(diǎn)是已知的，而且更容易從測(cè)試圖像中提取。結(jié)構(gòu)光采用三角視差測(cè)距，基線（光源與鏡頭光心的距離）越長(zhǎng)精度越高。由于是主動(dòng)光，無(wú)法在室外使用。

不論是一般結(jié)構(gòu)光還是散斑結(jié)構(gòu)光，缺點(diǎn)是它所使用的激光器發(fā)出的編碼光斑容易被太陽(yáng)光淹沒(méi)掉， 工作距離短，室外陽(yáng)光下不工作。

結(jié)構(gòu)光方案中的激光器壽命較短，難以滿足7x24小時(shí)的長(zhǎng)時(shí)間工作要求，其長(zhǎng)時(shí)間連續(xù)工作很容易損壞。而因?yàn)閱文跨R頭和激光器需要進(jìn)行精確的標(biāo)定，一旦損壞，替換激光器時(shí)重新進(jìn)行兩者的標(biāo)定是非常困難的，所以往往導(dǎo)致整個(gè)模塊都要一起被換掉。

現(xiàn)在多數(shù) RGB-D 相機(jī)還存在測(cè)量范圍窄、噪聲大、視野小、易受日光干擾、無(wú)法測(cè)量透射材質(zhì)等諸多問(wèn)題，在 SLAM 方面，主要用于室內(nèi)，室外則較難應(yīng)用。

立體視覺(jué)

雙目相機(jī) 的距離估計(jì)是比較左右眼的圖像獲得的，并不依賴其他傳感設(shè)備，所以它既可以應(yīng)用在室內(nèi)，亦可應(yīng)用于室外。

雙目立體視覺(jué)是純視覺(jué)的方法，需要逐像素計(jì)算匹配；同時(shí)，為了保證匹配結(jié)果比較魯棒，算法中會(huì)增加大量的錯(cuò)誤剔除策略，因此對(duì)算法要求較高，計(jì)算量較大。

VSLAM（Mono）

優(yōu)勢(shì)：成本低、搭建簡(jiǎn)單

劣勢(shì)：

1） 需要專門(mén)初始化

2） 尺度問(wèn)題

在單張圖片里，無(wú)法確定一個(gè)物體的真實(shí)大小。它可能是一個(gè)很大但很遠(yuǎn)的物體，也可能是一個(gè)很近很小的物體。

3） 深度計(jì)算存在缺陷

a. 3D假圖問(wèn)題

b. 機(jī)器學(xué)習(xí)的樣本問(wèn)題

VSLAM（Stereo）

優(yōu)勢(shì)：

1） 不需要專門(mén)初始化

2） 能夠計(jì)算深度

3） 能夠用于室內(nèi)和室外

劣勢(shì)：

1） 標(biāo)定較為復(fù)雜

2） 視差計(jì)算比較耗資源，需要GPU/FPGA 或 專門(mén)的ASIC芯片 協(xié)助。

責(zé)任編輯：lq6