作者：黃澤霞，邵春莉

摘要：本綜述涵蓋了深度學(xué)習(xí)技術(shù)應(yīng)用到SLAM領(lǐng)域的最新研究成果，重點(diǎn)介紹和總結(jié)了深度學(xué)習(xí)在前端跟蹤、后端優(yōu)化、語義建圖和不確定性估計(jì)中的研究成果,展望了深度學(xué)習(xí)下視覺SLAM的發(fā)展趨勢，為后繼者了解與應(yīng)用深度學(xué)習(xí)技術(shù)、研究移動機(jī)器人自主定位和建圖問題的可行性方案提供助力。

?

引言

隨著機(jī)器人技術(shù)的發(fā)展，越來越多的機(jī)器人被用來代替人類完成簡單重復(fù)或危險的工作。移動機(jī)器人由于具有較強(qiáng)的靈活性和可靠性，已逐漸成為機(jī)器人領(lǐng)域的研究焦點(diǎn)。在沒有人干預(yù)的情況下，通過自身所帶的傳感器感知環(huán)境，獲取未知環(huán)境的信息，并對環(huán)境進(jìn)行建模，實(shí)現(xiàn)自主導(dǎo)航和定位是移動機(jī)器人的核心任務(wù)。目前，同步定位與地圖創(chuàng)建（SLAM）技術(shù)是實(shí)現(xiàn)移動機(jī)器人這一任務(wù)的主流技術(shù)方案。

SLAM技術(shù)最早被應(yīng)用在機(jī)器人領(lǐng)域，是希望在沒有任何先驗(yàn)知識的情況下，機(jī)器人能依據(jù)傳感器的信息實(shí)時構(gòu)建周圍環(huán)境地圖，同時，根據(jù)這個地圖推測自身的位置[1]。根據(jù)所使用的傳感器類型的不同，可以把SLAM分為基于雷達(dá)的SLAM和基于視覺的SLAM。如圖 1所示，一個完整的視覺SLAM系統(tǒng)主要由傳感器數(shù)據(jù)流、前端跟蹤模塊（視覺里程計(jì)）、后端優(yōu)化模塊、回環(huán)檢測模塊和地圖構(gòu)建模塊組成[2]。

圖1 視覺SLAM系統(tǒng)框架

隨著深度學(xué)習(xí)技術(shù)的興起，計(jì)算機(jī)視覺的許多傳統(tǒng)領(lǐng)域都取得了突破性進(jìn)展，例如目標(biāo)的檢測、識別和分類等領(lǐng)域。近年來，研究人員開始在視覺SLAM算法中引入深度學(xué)習(xí)技術(shù)，使得深度學(xué)習(xí)SLAM系統(tǒng)獲得了迅速發(fā)展，并且比傳統(tǒng)算法展現(xiàn)出更高的精度和更強(qiáng)的環(huán)境適應(yīng)性。

從2015年Kendall等[3]?提出在視覺里程計(jì)中引入深度學(xué)習(xí)方法開始，經(jīng)過近十年的發(fā)展，基于深度學(xué)習(xí)的視覺SLAM系統(tǒng)框架已日趨成熟。同時，深度學(xué)習(xí)與視覺SLAM結(jié)合發(fā)展方面也取得了很多進(jìn)展[4-8]。其中，文[4] 較早地對深度學(xué)習(xí)與SLAM融合方法進(jìn)行了深入細(xì)致的調(diào)研，并展望了幾個未來的方向。但由于當(dāng)時對語義SLAM領(lǐng)域的研究剛剛起步，文中只進(jìn)行了簡要討論，沒有辦法進(jìn)行全面總結(jié)。此外，多數(shù)綜述都只對SLAM系統(tǒng)的某幾個方面進(jìn)行歸納與總結(jié)，如，對視覺里程計(jì)和回環(huán)檢測研究成果的總結(jié)[5]，對視覺里程計(jì)、回環(huán)檢測和地圖重建的調(diào)研[6-7]?等。值得注意的是，雖然也有專門討論不確定性估計(jì)算法的綜述[9-10]，然而，它們大部分的關(guān)注點(diǎn)主要集中在基于神經(jīng)網(wǎng)絡(luò)方法對不確定性的建模、深度模型下不確定性方法之間的對比等。

基于上述分析及廣泛調(diào)研，本文對深度學(xué)習(xí)下視覺SLAM方法涵蓋的幾大模塊（視覺里程計(jì)、回環(huán)檢測、全局優(yōu)化、語義SLAM以及不確定性估計(jì)）當(dāng)前采用的算法的性能特點(diǎn)、應(yīng)用環(huán)境等方面進(jìn)行分類討論，如圖 2所示。同時，論述了現(xiàn)有模型的局限性，并指出該領(lǐng)域未來可能的發(fā)展方向。

圖2 基于深度學(xué)習(xí)的視覺SLAM現(xiàn)有方法的分類

?

深度學(xué)習(xí)下的視覺SLAM前端跟蹤

SLAM前端跟蹤也稱作視覺里程計(jì)（VO），可以通過傳感器獲得的不同幀之間的感知信息估計(jì)出移動機(jī)器人的運(yùn)動變化[11]。VO估計(jì)最核心的任務(wù)是利用傳感器的測量數(shù)據(jù)準(zhǔn)確地預(yù)測移動機(jī)器人的運(yùn)動并輸出相對位姿。對SLAM系統(tǒng)而言，在初始狀態(tài)已知的情況下，可通過這些相對位姿重構(gòu)全局軌跡。因此，保證輸出位姿估計(jì)精度是移動機(jī)器人實(shí)現(xiàn)高精度定位的關(guān)鍵因素[8]。

2.1 深度學(xué)習(xí)與視覺里程計(jì)

傳統(tǒng)的VO估計(jì)通常包括相機(jī)標(biāo)定、特征提取、特征匹配/ 跟蹤、異常值剔除、運(yùn)動估計(jì)、尺度估計(jì)和局部優(yōu)化幾部分，系統(tǒng)架構(gòu)如圖 3所示[12]。

圖3 傳統(tǒng)單目VO的框架圖

卷積神經(jīng)網(wǎng)絡(luò)（CNN或ConvNet）在圖像識別任務(wù)中獲得的巨大成功，使得利用CNN來處理VO問題成為了可能。和傳統(tǒng)的VO估計(jì)方法相比，深度學(xué)習(xí)方法可以自動對圖像特征進(jìn)行提取，而不需要繁重的人工特征標(biāo)注過程，使得整個估計(jì)過程更加直觀簡潔。根據(jù)網(wǎng)絡(luò)的訓(xùn)練方式和數(shù)據(jù)集是否使用標(biāo)簽，本節(jié)主要集中對有監(jiān)督學(xué)習(xí)（supervised learning）VO、無監(jiān)督學(xué)習(xí)（unsupervised learning）VO和自監(jiān)督學(xué)習(xí)（self-supervised learning）VO三種情況進(jìn)行討論和總結(jié)。

2.1.1 有監(jiān)督學(xué)習(xí)VO

有監(jiān)督學(xué)習(xí)VO的目的是通過在標(biāo)記數(shù)據(jù)集上訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)模型，直接構(gòu)造出從連續(xù)圖像到運(yùn)動變換的映射函數(shù)。模型的輸入是一對連續(xù)的圖像，輸出是包含了平移信息和旋轉(zhuǎn)信息的矩陣。

2015年，Konda等[13]?提出了基于端到端的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)來預(yù)測相機(jī)速度和輸入圖像的方向變化的方法，整個預(yù)測過程主要包括圖像序列深度和運(yùn)動信息的提取、圖像序列速度和方向變化估計(jì)2個步驟，是將深度學(xué)習(xí)融入到VO研究領(lǐng)域中最早的研究成果之一。

Costante等[14]?通過學(xué)習(xí)圖像數(shù)據(jù)的最優(yōu)特征表示，對視覺里程計(jì)進(jìn)行了估計(jì)。該方案將稠密光流特征作為CNN網(wǎng)絡(luò)的輸入，探索和設(shè)計(jì)了3種不同的CNN深度網(wǎng)絡(luò)架構(gòu)，基于全局特征的CNN-1b、基于局部特征的CNN-4b，以及結(jié)合前2種架構(gòu)的P-CNN。所提方案雖然在應(yīng)對圖像運(yùn)動模糊、光照變化方面具有較強(qiáng)的魯棒性，但當(dāng)圖像序列幀間速度過快時，算法誤差會較大，準(zhǔn)確性會下降。

在有監(jiān)督學(xué)習(xí)VO的模型中，DeepVO[12]?是目前效果最好且應(yīng)用較為廣泛的。該算法采用將ConvNet和遞歸神經(jīng)網(wǎng)絡(luò)（RNN）相結(jié)合的方法來實(shí)現(xiàn)視覺里程計(jì)的端到端學(xué)習(xí)。該網(wǎng)絡(luò)的框架如圖 4所示，它不采用傳統(tǒng)VO中的任何模塊，而是直接從一系列原始RGB圖像或視頻中推斷出姿態(tài)。DeepVO框架不僅能通過CNN自動學(xué)習(xí)VO問題的有效特征表示，而且能夠利用RNN隱式地學(xué)習(xí)圖像間的內(nèi)在聯(lián)系及動力學(xué)關(guān)系。

圖4 DeepVO網(wǎng)絡(luò)的框架結(jié)構(gòu)圖

與傳統(tǒng)方法相比，DeepVO模型在精度上沒有絕對的優(yōu)勢，但是，因其學(xué)習(xí)的是各幀之間的位姿關(guān)系，具有較好的泛化能力，因而得到了廣泛的關(guān)注。例如，VINet算法[15]和Deep EndoVO算法[16]?等都是在此基礎(chǔ)上進(jìn)行的改進(jìn)，并獲得了較好的效果。

隨著研究人員對高效的小規(guī)模網(wǎng)絡(luò)的深入研究，知識蒸餾作為一種新興的輕量化小模型，已成為深度學(xué)習(xí)領(lǐng)域又一個被關(guān)注的重點(diǎn)。2019年，Saputra等[17]?首次利用知識蒸餾來預(yù)測位姿回歸，提出了一種基于對教師模型結(jié)果的“信任”程度來附加蒸餾損失的方案。該方法有效地減少了網(wǎng)絡(luò)的參數(shù)量，增強(qiáng)了移動機(jī)器人的實(shí)時操作性。其他相關(guān)方法還有很多，比如，Saputra等[18]?在ICRA會議上探討了將課程學(xué)習(xí)（curriculum learning，CL）應(yīng)用到復(fù)雜幾何任務(wù)上的問題，設(shè)計(jì)了CL-VO網(wǎng)絡(luò)。該網(wǎng)絡(luò)利用新的課程學(xué)習(xí)策略來學(xué)習(xí)單目視覺里程計(jì)中的幾何信息，通過幾何感知目標(biāo)函數(shù)，在訓(xùn)練的過程中逐步提升訓(xùn)練數(shù)據(jù)的復(fù)雜度。

總之，由于機(jī)器學(xué)習(xí)技術(shù)、數(shù)據(jù)存儲量和計(jì)算速度等方面的飛速發(fā)展，這些有監(jiān)督學(xué)習(xí)方法可以從輸入圖像中自動獲取相機(jī)的位姿變換，從而解決實(shí)際場景中視覺里程計(jì)估計(jì)難的問題。

2.1.2 無監(jiān)督學(xué)習(xí)VO

無監(jiān)督學(xué)習(xí)所學(xué)習(xí)的數(shù)據(jù)不需要標(biāo)注，學(xué)習(xí)的目標(biāo)通常是找出數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系。隨著深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺領(lǐng)域中的優(yōu)勢凸顯，人們對探索無監(jiān)督學(xué)習(xí)在視覺里程計(jì)中的應(yīng)用越來越感興趣，研究者也逐步把側(cè)重點(diǎn)放在了該領(lǐng)域上。

2017年，Godard等[19]?在CVPR會議上提出了采用無監(jiān)督學(xué)習(xí)的方法來進(jìn)行單一圖像的深度估計(jì)。該方法的基本思路是利用圖像的多重目標(biāo)損失來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使得光度誤差最小化，從而得到很好的視差圖。特別值得注意的是，文[19] 是在已知相機(jī)參數(shù)的情況下進(jìn)行訓(xùn)練的。為了解決相機(jī)參數(shù)未知且左右相機(jī)不在同一個平面的問題，Zhou等[20]?提出了一種既不需要雙目相機(jī)，也不用知道相機(jī)參數(shù)的改進(jìn)算法。其核心思想是通過深度CNN和位姿CNN兩個網(wǎng)絡(luò)分別生成深度圖和圖像間的位姿，根據(jù)深度圖與位姿將原圖像投射到目標(biāo)圖像上，最后通過比較真實(shí)目標(biāo)圖像與投射產(chǎn)生的目標(biāo)圖像的重建誤差來訓(xùn)練網(wǎng)絡(luò)。該學(xué)習(xí)方式在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)、初始值設(shè)定和訓(xùn)練方法上都采用了較為合適的策略，是目前效果最好的無監(jiān)督學(xué)習(xí)方法之一。然而在文獻(xiàn)中，作者提到還存在幾個尚待解決的問題：1) 該方法存在絕對尺度問題。由于文中的深度預(yù)測不夠完整，因而無法重建環(huán)境的全局軌跡，降低了其在全局范圍內(nèi)定位的精度。2) 文中的光度一致性計(jì)算沒有考慮實(shí)際場景中可能出現(xiàn)的物體移動和遮擋。

對于上述尺度一致性問題，學(xué)者們進(jìn)行了討論和研究，并提出了許多不同的改進(jìn)方案[21-23]。例如，Li等[21]?在文[20] 的基礎(chǔ)上作了相應(yīng)的改進(jìn)，提出一種基于無監(jiān)督學(xué)習(xí)方法來得到相機(jī)位姿絕對尺度的單目視覺里程計(jì)估計(jì)網(wǎng)絡(luò)UnDeepVO。該方法通過左右圖像分別估計(jì)出相機(jī)左右序列的位姿值和深度值，然后再利用輸入的立體圖像對得到真實(shí)尺度的深度圖，與大多數(shù)單目無監(jiān)督的學(xué)習(xí)方案相比，該方法能夠真實(shí)地恢復(fù)相機(jī)位姿的尺度。文[22] 提出利用幾何一致性損失函數(shù)來滿足深度估計(jì)和位姿估計(jì)之間的尺度一致性約束。該方法將預(yù)測的圖像深度圖轉(zhuǎn)換到3D空間，然后將局部深度重投影作為損失函數(shù)，以此來保持深度預(yù)測的尺度一致性，從而保持位姿估計(jì)的尺度一致性。

在改善位姿估計(jì)精度方面，Yin等[24]?提出了一種可以聯(lián)合學(xué)習(xí)單目深度、光流和相機(jī)姿態(tài)的GeoNet無監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)框架。該學(xué)習(xí)過程通過剛性結(jié)構(gòu)重建器和非剛性運(yùn)動定位器2個子任務(wù)，分別學(xué)習(xí)剛性流和目標(biāo)物體的運(yùn)動。除此之外，GeoNet還引入了自適應(yīng)幾何一致性損失，增強(qiáng)了對相機(jī)遮擋和非朗伯區(qū)域的異常值的魯棒性，提升了相機(jī)位姿估計(jì)的精度。此外，Zhao等[25]?同樣也在改善位姿估計(jì)精度方面進(jìn)行了改進(jìn)和擴(kuò)展。

自2014年Goodfellow等[26]?提出生成式對抗網(wǎng)絡(luò)（GAN）以來，由于其強(qiáng)大的生成能力，該方法在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域越來越受到學(xué)術(shù)界和工業(yè)界的重視。GANVO算法[27]?正是在GAN基礎(chǔ)上提出的一種生成式無監(jiān)督學(xué)習(xí)框架，該算法通過在單目VO中使用生成式對抗神經(jīng)網(wǎng)絡(luò)和循環(huán)無監(jiān)督學(xué)習(xí)方法來預(yù)測相機(jī)運(yùn)動姿態(tài)和單目深度圖。SGANVO（疊加生成式對抗網(wǎng)絡(luò)）[28]?是繼GANVO之后出現(xiàn)的一種改進(jìn)算法，其整體是由一堆GAN層堆疊組成。系統(tǒng)在對抗性學(xué)習(xí)過程中進(jìn)行深度估計(jì)和自我運(yùn)動預(yù)測，并對算法的前、后層網(wǎng)絡(luò)進(jìn)行遞歸表示，從而有效地捕捉各層的時間動態(tài)特征。SGANVO通過增加網(wǎng)絡(luò)層數(shù)的方式，使得深度估計(jì)效果得到了很大的改善。

傳統(tǒng)的無監(jiān)督深度估計(jì)需要利用雙目圖片進(jìn)行自監(jiān)督，而文[29] 提出的SfM-Net網(wǎng)絡(luò)卻只需要單目的視頻流就能恢復(fù)深度圖和相機(jī)位姿的估計(jì)。首先，通過輸入的單個圖像生成對應(yīng)深度圖像；然后，融合生成深度點(diǎn)云；最后，通過輸入連續(xù)兩幀的圖像計(jì)算輸出圖像間的位姿關(guān)系，識別并分割出（以掩模的形式）場景中的運(yùn)動物體。

相比于有監(jiān)督學(xué)習(xí)VO，無監(jiān)督學(xué)習(xí)VO學(xué)習(xí)到的特征更加具有適應(yīng)性和豐富性，因此，在性能上雖然與前者還有一定差距，但其在提供未知場景位姿信息方面具有更佳的可拓展性和可解釋性。

2.1.3 自監(jiān)督學(xué)習(xí)VO

在傳統(tǒng)的VO中，想要獲得場景像素點(diǎn)的深度真值比較困難，而自監(jiān)督學(xué)習(xí)方法集成了深度學(xué)習(xí)框架和經(jīng)典的幾何模型，給這一難題指明了方向。

第一種自監(jiān)督學(xué)習(xí)法是以立體相機(jī)拍攝的圖像對作為訓(xùn)練樣本，根據(jù)視差與場景深度的關(guān)系，預(yù)測出目標(biāo)圖像的視差圖，并轉(zhuǎn)換為深度圖[30-32]。如，文[30] 提出用立體圖像作為訓(xùn)練網(wǎng)絡(luò)的輸入，以自監(jiān)督的方式在圖像對上進(jìn)行模型訓(xùn)練。文中以左右視差之間的雙循環(huán)一致性作為目標(biāo)函數(shù)，同時引入自適應(yīng)正則化損失函數(shù)，以此排除立體圖像中的遮擋區(qū)域。Godard等[19]?使用單個圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，在全局范圍內(nèi)預(yù)測得到每個像素的場景深度；然后利用左右圖像一致性損失，增強(qiáng)左右視差圖的一致性，可以使結(jié)果更準(zhǔn)確。此外，Chen等[31]?和Choi等[32]?從訓(xùn)練策略著手，基于雙目深度估計(jì)的結(jié)果來估計(jì)單目圖像的深度。通過這種方式獲得的網(wǎng)絡(luò)模型可以獲得最佳性能。

另一種基于自監(jiān)督估計(jì)深度的思路是將視頻序列中的連續(xù)幀作為訓(xùn)練樣本[33-37]。由于連續(xù)幀之間的相機(jī)運(yùn)動是未知的，因此，該方法既要估計(jì)目標(biāo)圖像的深度，還需要預(yù)測相機(jī)位姿。倫敦大學(xué)Godard等[33]?利用深度估計(jì)和姿態(tài)估計(jì)網(wǎng)絡(luò)得到圖像的逆深度估計(jì)和相機(jī)位姿估計(jì)，然后把相機(jī)位姿與視差計(jì)算的光度投影誤差作為損失函數(shù)，利用梯度下降這種優(yōu)化方法對損失函數(shù)中的每個誤差進(jìn)行優(yōu)化或更新，以此來提升算法處理遮擋場景的魯棒性。Li等[34]?利用連續(xù)幀之間的時序約束進(jìn)行自監(jiān)督學(xué)習(xí)，該算法將自監(jiān)督學(xué)習(xí)VO表示為一個序列學(xué)習(xí)問題，將幀間相關(guān)性表示為一個壓縮碼，并通過長短期記憶（LSTM）網(wǎng)絡(luò)來集成序列信息。通過對抗學(xué)習(xí)這種方法，很好地解決了位姿估計(jì)過程中造成的誤差積累，給系統(tǒng)后端提供了更精確的深度和更準(zhǔn)確的位姿估計(jì)。Zhan等[36]?將學(xué)習(xí)到的深度和光流預(yù)測整合到傳統(tǒng)的VO測量模型中，獲得了比其他算法更具競爭力的性能表現(xiàn)。此外，Li等[37]?提出了基于元學(xué)習(xí)的在線自監(jiān)督學(xué)習(xí)方法。

研究表明，與傳統(tǒng)的單目VO或視覺慣導(dǎo)里程計(jì)相比，將深度學(xué)習(xí)與傳統(tǒng)方法相結(jié)合的自監(jiān)督方法在性能上更加優(yōu)越[38]。這一結(jié)論從側(cè)面說明了自監(jiān)督領(lǐng)域發(fā)展的巨大潛力和無限可能。

2.2 深度學(xué)習(xí)與視覺慣導(dǎo)里程計(jì)

高精度的導(dǎo)航和定位是自動駕駛汽車的核心技術(shù)之一。傳統(tǒng)的視覺里程計(jì)方法由于遮擋、尺度不確定性、相對位置偏移和低幀率等一系列問題，很難達(dá)到實(shí)際場景的應(yīng)用需求；相比而言，慣性測量單元（IMU）定位設(shè)備價格低廉，可以直接獲得運(yùn)動主體的角速度和加速度的測量數(shù)據(jù)，達(dá)到理想的定位效果。因此，為了提升導(dǎo)航定位系統(tǒng)的精度和穩(wěn)定性，在傳統(tǒng)的VO中融入慣性信息是行之有效的方案，并已取得了一定成果[39-41]。

深度學(xué)習(xí)是一種端到端的學(xué)習(xí)方式，在模型訓(xùn)練時直接學(xué)習(xí)從輸入的原始數(shù)據(jù)到期望輸出的映射。與傳統(tǒng)方法相比，基于深度學(xué)習(xí)的視覺慣性里程計(jì)（VIO）方法最大的優(yōu)點(diǎn)是無需手動提取特征，完全依靠數(shù)據(jù)驅(qū)動，能利用數(shù)據(jù)本身蘊(yùn)含的信息實(shí)現(xiàn)深度預(yù)測。近年來，對該領(lǐng)域的探索與研究開始引起許多研究者的關(guān)注。

VINet網(wǎng)絡(luò)[15]?首次提出結(jié)合IMU的信息，通過深度神經(jīng)網(wǎng)絡(luò)的框架來解決VIO的問題。整個VINet網(wǎng)絡(luò)利用CNN網(wǎng)絡(luò)從2個相鄰幀圖像中提取視覺運(yùn)動特征，同時使用LSTM網(wǎng)絡(luò)來建模IMU的慣導(dǎo)特征。然后利用特殊歐氏群把視覺運(yùn)動特征和慣導(dǎo)特征進(jìn)行結(jié)合，以此實(shí)現(xiàn)對相機(jī)位姿的預(yù)測。通過VINet方法，既減少了對手動同步和校準(zhǔn)的依賴，同時在同步誤差方面也表現(xiàn)出了更強(qiáng)的魯棒性。

文[42] 利用在線糾錯OEC模塊進(jìn)行了VIO無監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)方法的設(shè)計(jì)。該方法在沒有慣性測量單元內(nèi)在參數(shù)或缺失IMU和相機(jī)之間的外部校準(zhǔn)的情況下，將RGB-D圖像與慣性測量直接相結(jié)合，根據(jù)像素的縮放圖像投影誤差的雅可比行列式生成相機(jī)運(yùn)動的估計(jì)軌跡。DeepVIO是Han等[43]?提出的一種端到端自監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)框架，該框架主要使用雙目序列來估計(jì)每個場景的深度和密集的3D幾何約束并作為監(jiān)督信號，結(jié)合IMU數(shù)據(jù)來獲取絕對軌跡估計(jì)值。與傳統(tǒng)方法相比，DeepVIO減少了相機(jī)與IMU之間校準(zhǔn)不正確、數(shù)據(jù)不同步和丟失的影響，與其他基于VO和VIO系統(tǒng)的最新學(xué)習(xí)方法相比，該算法在準(zhǔn)確性和數(shù)據(jù)適應(yīng)性方面的表現(xiàn)也更為突出。

基于深度學(xué)習(xí)的視覺慣性里程計(jì)方法已經(jīng)被證明是成功的，然而，這些方法在設(shè)計(jì)過程中并沒有完全解決多傳感數(shù)據(jù)的魯棒融合策略問題。針對這一問題，Chen等[44]?提出一種新的單目端到端VIO多傳感器選擇融合策略。該策略融合了單目圖像和慣性測量單元，根據(jù)外部環(huán)境和內(nèi)部傳感器的動態(tài)數(shù)據(jù)來估計(jì)運(yùn)動軌跡，提高了對應(yīng)用場景的魯棒性。此外，還提出了不同掩碼策略下的融合網(wǎng)絡(luò)模式，在數(shù)據(jù)損壞的情況下，該融合策略表現(xiàn)出更優(yōu)的性能。

在很多室內(nèi)和室外場景中，面對不同的場景尺度因子，單目的SLAM系統(tǒng)需要對相機(jī)和IMU之間的空間變換和時間偏移進(jìn)行標(biāo)定。對這一限制問題，Lee等[45]?利用光流神經(jīng)網(wǎng)絡(luò)的思想，以連續(xù)的2個相鄰幀作為網(wǎng)絡(luò)的輸入，提出了一種不需要標(biāo)定的VIO學(xué)習(xí)框架，該方法適用于計(jì)算能力不高且需要實(shí)時處理信息的VIO系統(tǒng)。為了解決單目視覺SLAM系統(tǒng)實(shí)時重構(gòu)真實(shí)尺度場景困難的問題，浙江大學(xué)左星星博士提出了一種實(shí)時的CodeVIO方法[46]，采用一種新的、實(shí)時的單目相機(jī)慣導(dǎo)定位與稠密深度圖重建的策略。該策略結(jié)合了深度神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的狀態(tài)估計(jì)器，利用輕量級的條件變分自動編碼器（conditional variational autoencoder，CVAE），把高維度的稠密深度圖在神經(jīng)網(wǎng)絡(luò)中編碼為低維度的深度碼，以增加稠密深度估計(jì)的準(zhǔn)確性。CodeVIO方法一方面利用VIO稀疏深度圖的信息，以稀疏視覺特征點(diǎn)的深度作為神經(jīng)網(wǎng)絡(luò)的輸入；另一方面使用了一種高效的網(wǎng)絡(luò)雅可比矩陣計(jì)算方法，使網(wǎng)絡(luò)在實(shí)時單線程運(yùn)行的同時，具有了很強(qiáng)的泛化能力和高了一個數(shù)量級的計(jì)算效率。

此外，Liu等[47]?提出InertialNet網(wǎng)絡(luò)，訓(xùn)練端到端模型來推導(dǎo)圖像序列和IMU信息之間的聯(lián)系，預(yù)測相機(jī)旋轉(zhuǎn)角度。Kim等[48]?將不確定性建模引入無監(jiān)督的損失函數(shù)中，在不需要用真值協(xié)方差作為標(biāo)簽的情況下學(xué)習(xí)多傳感器間深度與位姿的不確定性。通過這種方法，克服了學(xué)習(xí)單個傳感器時的不確定性和局限性。文[49] 提出了一種新的基于深度學(xué)習(xí)模型的相機(jī)和IMU傳感器融合的算法，以預(yù)測無人機(jī)系統(tǒng)的3D運(yùn)動。

2.3 方法總結(jié)與對比分析

近年來，結(jié)合深度學(xué)習(xí)的視覺SLAM方法越來越受到研究者的高度關(guān)注?，F(xiàn)有基于深度學(xué)習(xí)的VO估計(jì)方法的性能對比如表 1所示。由于各算法的測試數(shù)據(jù)集和評估性能各有差異，難以對算法性能進(jìn)行精確對比，因此表中僅列出了各算法在特定測試條件下的定位誤差作為參考指標(biāo)。特別強(qiáng)調(diào)，表中所列誤差的性能指標(biāo)值越小，說明算法的尺度一致性越佳，定位越準(zhǔn)確。

表1 現(xiàn)有基于深度學(xué)習(xí)的VO估計(jì)方法的性能對比

結(jié)合表 1性能，從現(xiàn)有的成果來看，深度學(xué)習(xí)在SLAM領(lǐng)域取得了一定的成果。與無監(jiān)督學(xué)習(xí)方法相比，有監(jiān)督學(xué)習(xí)方法表現(xiàn)出的尺度漂移誤差更小、跟蹤魯棒性更佳。從算法的深度估計(jì)結(jié)果來說，目前提出的基于無監(jiān)督/ 自監(jiān)督的VO算法都能達(dá)到較好的預(yù)測效果。

值得一提的是，無監(jiān)督學(xué)習(xí)是通過學(xué)習(xí)數(shù)據(jù)之間的規(guī)律來提取輸入圖像的特征，因此，能學(xué)習(xí)到更加豐富多樣的圖像特征表征，在未知的場景下具有更佳的適應(yīng)性和泛化能力。

自監(jiān)督學(xué)習(xí)方法既保留了傳統(tǒng)算法的特點(diǎn)，又融合了深度學(xué)習(xí)的優(yōu)勢，能夠較好地恢復(fù)場景的尺度，與無監(jiān)督學(xué)習(xí)相比，具有更大的優(yōu)勢。如，自監(jiān)督模型D3VO方法[38]?的跟蹤精度甚至超過了現(xiàn)有的單目深度視覺里程計(jì)或視覺慣導(dǎo)里程計(jì)系統(tǒng)。當(dāng)然，在特定限制的任務(wù)環(huán)境中，具體可以采用哪種學(xué)習(xí)方式還需要根據(jù)具體情況來決定。

近年來，將慣性單元數(shù)據(jù)與相機(jī)的地標(biāo)信息進(jìn)行融合已成為構(gòu)建高精度、高魯棒SLAM系統(tǒng)的重要途徑。部分現(xiàn)有基于視覺/ 慣性融合的視覺SLAM算法的總結(jié)如表 2所示。表 2中，表示平均平移誤差百分比，ATE表示絕對軌跡誤差，RE表示旋轉(zhuǎn)誤差，RMSE表示均方根誤差。不難看出，基于學(xué)習(xí)的VIO的研究雖然才起步，但與傳統(tǒng)的SLAM系統(tǒng)相比，其在定位精度、尺度一致性以及生成運(yùn)動軌跡等方面的能力很突出。另外，IMU和相機(jī)之間具有較強(qiáng)的互補(bǔ)性，將兩者進(jìn)行融合是提升SLAM系統(tǒng)精度和魯棒性的重要途徑。

表2 現(xiàn)有視覺慣導(dǎo)里程計(jì)融合算法的簡要比較

綜上所述，深度學(xué)習(xí)在SLAM領(lǐng)域中的實(shí)際應(yīng)用效果雖然還不是很理想，但是隨著深度學(xué)習(xí)研究的深入，該領(lǐng)域已成為近年來的研究熱門。

?

深度學(xué)習(xí)下的視覺SLAM后端優(yōu)化

SLAM的后端優(yōu)化主要是對不同時刻視覺里程計(jì)預(yù)測得到的相機(jī)位姿信息以及局部地圖進(jìn)行優(yōu)化調(diào)整。在VO中，不管是位姿估計(jì)還是建圖，都是利用相鄰幀之間的運(yùn)動來完成的，這容易導(dǎo)致誤差逐幀累積，最終產(chǎn)生較大的累積漂移[11]。在對這些區(qū)域進(jìn)行地圖重構(gòu)時，將導(dǎo)致與同一區(qū)域已建圖不重合，出現(xiàn)重影現(xiàn)象；同時，也有必要把所有地圖數(shù)據(jù)放到一起再做一次全局的優(yōu)化，以降低系統(tǒng)各部分的誤差，提高系統(tǒng)的準(zhǔn)確性。因此，為了降低誤差漂移對SLAM系統(tǒng)性能帶來的影響，后端優(yōu)化就顯得至關(guān)重要。

3.1 深度學(xué)習(xí)與回環(huán)檢測

在視覺SLAM領(lǐng)域中，回環(huán)檢測（loop closure detection）是又一個值得關(guān)注和研究的熱點(diǎn)問題。其主要解決機(jī)器人位姿估計(jì)的累積漂移問題，以實(shí)現(xiàn)在大規(guī)模復(fù)雜環(huán)境下的精確導(dǎo)航。準(zhǔn)確的回環(huán)檢測可以進(jìn)一步優(yōu)化移動機(jī)器人的運(yùn)動估計(jì)，建立全局一致的地圖，反之則可能導(dǎo)致地圖重建失敗。因此，回環(huán)檢測算法的好壞對整個視覺SLAM系統(tǒng)精度與魯棒性的提升至關(guān)重要[11]。

早期的回環(huán)檢測方法是手工標(biāo)注特征點(diǎn)，應(yīng)用詞袋（BoW）模型來達(dá)到圖像匹配的目的。隨著深度學(xué)習(xí)、目標(biāo)識別、語義分割等領(lǐng)域的迅速發(fā)展，研究者更傾向于使用先進(jìn)技術(shù)來更好地實(shí)現(xiàn)回環(huán)檢測。2015年，國防科技大學(xué)張宏等[50]?較早地將深度學(xué)習(xí)應(yīng)用在回環(huán)檢測中，利用Caffe深度學(xué)習(xí)框架下已經(jīng)提前訓(xùn)練好的AlexNet模型產(chǎn)生一種適合回環(huán)檢測的描述符。該方法先將圖像輸入到CNN中，以每個中間層的輸出作為一個特征值，用來描述整幅圖像，然后利用二范數(shù)進(jìn)行特征匹配來確定是否存在回環(huán)。仿真結(jié)果表明在光照變化明顯的環(huán)境下這種深度學(xué)習(xí)的特征描述符比傳統(tǒng)的BoW和隨機(jī)蕨法等方法更穩(wěn)定、魯棒性更強(qiáng)，并且產(chǎn)生描述符的用時更短。

自動編碼器是一種無監(jiān)督學(xué)習(xí)模型，能夠自動提取數(shù)據(jù)中的有效特征，具有較強(qiáng)的泛化性。近些年，該方法受到了廣泛的關(guān)注，且已成功應(yīng)用于諸多領(lǐng)域。清華大學(xué)高翔等[51]?提出采用堆疊去噪自動編碼器（stacked denoising auto-encoder，SDA）的無監(jiān)督學(xué)習(xí)方式描述整幅圖像來進(jìn)行圖像的匹配，最終得到了較好的回環(huán)檢測效果。此外，如文[52] 也是在自動編碼器結(jié)構(gòu)的基礎(chǔ)上，以無監(jiān)督學(xué)習(xí)的方式壓縮場景數(shù)據(jù)來提取緊湊的特征表示向量。

隨著CNN訓(xùn)練的飛速發(fā)展，針對光照變化、天氣變化和物體快速移動等復(fù)雜場景，有不少研究者開始考慮采用CNN網(wǎng)絡(luò)學(xué)習(xí)特征與人工設(shè)計(jì)特征相結(jié)合的方式進(jìn)行場景識別。文[53] 在局部特征聚合描述子（VLAD）的基礎(chǔ)上進(jìn)行了擴(kuò)展，提出了一種端對端的場景識別NetVLAD算法。此算法將傳統(tǒng)的VLAD結(jié)構(gòu)與CNN網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合，利用卷積網(wǎng)絡(luò)的反向傳播對網(wǎng)絡(luò)進(jìn)行算法優(yōu)化，提高了對同類別圖像的表達(dá)能力，同時大大地提高了圖像的匹配精度。Bampis等[54]?提出了新的回環(huán)檢測方法，主要通過旋轉(zhuǎn)不變和尺度不變的局部特征描述向量以及動態(tài)序列識別技術(shù)來提高系統(tǒng)的性能。除此之外，文中還引入時間一致性過濾器來進(jìn)一步提升所產(chǎn)生序列的相似性度量結(jié)果。參照文[54] 的思路與方法，Memon等[55]?提出了有監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)相結(jié)合的回環(huán)檢測方法。文中利用深度學(xué)習(xí)在特征提取方面的優(yōu)勢，引入超級字典的概念，加快了場景比較的速度。同時，結(jié)合自動編碼器對新場景進(jìn)行回環(huán)檢測，提高了回環(huán)檢測的效率。

雖然，基于深度學(xué)習(xí)的回環(huán)檢測方法可以從原始數(shù)據(jù)中自動地學(xué)習(xí)特征，能更充分地表達(dá)圖像信息，對復(fù)雜的環(huán)境變化有更好的適應(yīng)性和更強(qiáng)的魯棒性，但是，如何針對不同場景自動選擇不同隱含層的結(jié)果、如何找到更好的用于場景識別的特征、如何尋找合適的回環(huán)檢測的性能評估基準(zhǔn)等諸多問題依然是未來研究的重點(diǎn)。

3.2?深度學(xué)習(xí)與全局優(yōu)化

SLAM全局優(yōu)化需要考慮的問題是如何利用不準(zhǔn)確的關(guān)鍵幀建立起全局約束，以優(yōu)化各幀的相機(jī)位姿。為了實(shí)現(xiàn)全局優(yōu)化，可以通過建立和優(yōu)化位姿圖來求解各幀的相機(jī)位姿。位姿圖是以關(guān)鍵幀的全局位姿作為圖的節(jié)點(diǎn)，以關(guān)鍵幀之間的相對位姿誤差作為圖的邊的權(quán)重，通過令整個圖的所有邊的權(quán)重值總和最小，來優(yōu)化得到每個圖節(jié)點(diǎn)的值。也可通過另一種目前比較主流的圖優(yōu)化方法來獲得全局最優(yōu)解。不論是何種優(yōu)化方法，一般采用的求解器都是高斯－牛頓法或LM算法[11]。

深度學(xué)習(xí)的實(shí)質(zhì)是利用觀察到的相機(jī)位姿和場景表征來提取圖像特征并構(gòu)建映射函數(shù)。近年來，研究者們針對如何將深度學(xué)習(xí)融入到全局優(yōu)化問題中進(jìn)行了探索與嘗試，獲得了比較好的性能優(yōu)化結(jié)果。文[56] 提出的CNN-SLAM法將CNN預(yù)測的稠密深度地圖引入到直接單目SLAM法獲得的深度測量值中，該方法使得SLAM系統(tǒng)在回環(huán)檢測和圖形優(yōu)化方面具有更強(qiáng)的魯棒性和更高的準(zhǔn)確性。Zhou等[57]?提出了DeepTAM學(xué)習(xí)方法，其核心在于將來自CNN的相機(jī)位姿和深度估計(jì)引入到經(jīng)典DTAM系統(tǒng)[58]?中，然后通過后端全局優(yōu)化，來實(shí)現(xiàn)更精確的相機(jī)位姿估計(jì)和場景重構(gòu)。

基于無監(jiān)督學(xué)習(xí)的單目視覺里程計(jì)，由于缺少累積誤差的校正技術(shù)，在大規(guī)模里程計(jì)估計(jì)方面的精確度達(dá)不到預(yù)期目標(biāo)。針對這一局限性，Li等[59]?將無監(jiān)督學(xué)習(xí)的單目VO與圖優(yōu)化后端集成在一起，提出了一種混合的視覺里程計(jì)系統(tǒng)。以時間和空間光度損失作為主要監(jiān)督信號，在系統(tǒng)后端，根據(jù)估計(jì)得到的局部閉環(huán)6自由度約束構(gòu)建全局位姿圖并進(jìn)行優(yōu)化，從而改善系統(tǒng)的定位精度和魯棒性。除了文[59] 的方法之外，DeepFactors算法[60]?也值得一提。文[60] 中提出的深度SLAM系統(tǒng)是將學(xué)習(xí)到的稠密地圖與3種不同類型的后端概率因子圖相結(jié)合來實(shí)現(xiàn)的。該系統(tǒng)在概率框架中整合了一致性度量、先驗(yàn)學(xué)習(xí)等算法，在對位姿和深度變量進(jìn)行聯(lián)合優(yōu)化的同時還能保持系統(tǒng)的實(shí)時性能。

目前，深度學(xué)習(xí)方法在全局優(yōu)化中的應(yīng)用處于初步探索階段，隨著各種深入研究的解決方案的提出與實(shí)現(xiàn)，深度學(xué)習(xí)在該領(lǐng)域的應(yīng)用將會引來更多的關(guān)注?；谏疃葘W(xué)習(xí)的全局優(yōu)化方案也會得到進(jìn)一步的提升和改進(jìn)。

?

深度學(xué)習(xí)下的語義SLAM

語義SLAM是語義信息和視覺SLAM的相互融合，其研究的核心就是對目標(biāo)物體進(jìn)行檢測與識別。而深度學(xué)習(xí)算法是當(dāng)前主流的物體識別算法。因此，在語義SLAM系統(tǒng)中引入深度學(xué)習(xí)成為SLAM系統(tǒng)發(fā)展的必然趨勢。

而真正意義上的語義SLAM（即語義建圖和SLAM定位相互促進(jìn)）發(fā)展相對較晚。2017年，Bowman等[61]?引入了期望最大值方法來動態(tài)估計(jì)物體與觀測的匹配關(guān)系。作者把語義SLAM轉(zhuǎn)換成概率問題，利用概率模型計(jì)算出來的物體中心在圖像上重投影時應(yīng)該接近檢測框的中心這一思想來優(yōu)化重投影誤差。雖然文[61] 解決了語義特征的數(shù)據(jù)關(guān)聯(lián)問題和如何用語義信息獲取路標(biāo)和攝像頭位姿的問題，但是沒有考慮語義元素之間的互斥關(guān)系，以及連續(xù)多幀的時序一致性。Lianos等[62]?提出的視覺語義里程計(jì)（VSO）方法是在文[61] 的基礎(chǔ)上，使用距離變換將分割結(jié)果的邊緣作為約束，同時利用投影誤差構(gòu)造約束條件，從而實(shí)現(xiàn)中期連續(xù)點(diǎn)跟蹤。

為了提高語義SLAM系統(tǒng)識別動態(tài)物體的準(zhǔn)確性，清華大學(xué)的Yu等[63]?在2018年IROS會議上提出了一種動態(tài)環(huán)境下魯棒的語義視覺SLAM系統(tǒng)（DS-SLAM）。在DS-SLAM中，將語義分割網(wǎng)絡(luò)放在一個單獨(dú)運(yùn)行的線程之中，結(jié)合語義信息和運(yùn)動特征點(diǎn)檢測，來剔除每一幀中的動態(tài)物體，從而提高位姿估計(jì)的準(zhǔn)確性和系統(tǒng)運(yùn)行的效率。動態(tài)環(huán)境下，此系統(tǒng)降低了對動態(tài)目標(biāo)的影響，極大地提高了定位精度。同時，生成的密集語義八叉樹地圖可用于執(zhí)行高級任務(wù)。但此方法要求所使用的語義網(wǎng)絡(luò)運(yùn)行速度足夠快。

Kaneko等[64]?借用語義分割能將圖像中每一類物體進(jìn)行分類和標(biāo)注這一特點(diǎn)，利用語義分割產(chǎn)生的掩模來排除不可能找到正確對應(yīng)的區(qū)域。在檢測特征點(diǎn)階段，添加了“不檢測掩蔽區(qū)域中的特征點(diǎn)”的操作，可以排除大部分獲得的不準(zhǔn)確的對應(yīng)關(guān)系，減小了隨機(jī)一致性采樣誤差。該方法引入了語義分割的全局信息，可以彌補(bǔ)視覺SLAM局部信息的不足，故具有較高的精度。

為了解決實(shí)際應(yīng)用中的動態(tài)遮擋問題，文[65] 提出了一種新穎的動態(tài)分割方法，從而實(shí)現(xiàn)對相機(jī)自我運(yùn)動的準(zhǔn)確跟蹤。該方法首先將語義信息與對象級的幾何約束相結(jié)合，快速提取出場景中的靜態(tài)部分，再對靜態(tài)部分從粗到細(xì)分兩步實(shí)現(xiàn)精確跟蹤。另外，對動態(tài)部分，提出了利用分層次掩碼的動態(tài)物體掩碼策略。相比于其他動態(tài)視覺SLAM方法，文[65] 的方法在效率和動態(tài)跟蹤精度等方面都有了明顯的提升。

隨著語義分割技術(shù)的發(fā)展，借助語義信息，將數(shù)據(jù)關(guān)聯(lián)升級到物體級別，使得提升復(fù)雜場景下的識別精度成為了可能。目前，有許多研究（如文[66-69]）都是基于物體級別關(guān)聯(lián)的語義SLAM算法。2019年，Yang等[66]?提出用于聯(lián)合估計(jì)相機(jī)位姿和動態(tài)物體軌跡的CubeSLAM方法。該算法針對靜態(tài)物體和動態(tài)物體分別采用不同的關(guān)聯(lián)方法：對于靜態(tài)物體，將SLAM提取到的特征點(diǎn)和2D檢測框檢測的對象關(guān)聯(lián)起來；而對于動態(tài)物體，直接用稀疏光流算法來跟蹤像素，動態(tài)特征的3D位置通過三角化測量來得到。數(shù)據(jù)關(guān)聯(lián)過程中，采用立方體在地圖中表示物體。除了上述描述，還有學(xué)者提出用橢圓體（特殊雙曲面）來表示物體[67-68]。但是橢圓體的物體表示只是一種近似，它的檢測框和實(shí)際測量的檢測框不可能完全重合，因此QuadricSLAM算法[67]?對精度提升并沒有幫助，但采用CubeSLAM方法對其精度提升很大。DSP-SLAM算法[69]的基礎(chǔ)框架也是把一個物體級的3維重建算法加到一個傳統(tǒng)SLAM算法中，其數(shù)據(jù)關(guān)聯(lián)還是要用到特征點(diǎn)，也是在地圖優(yōu)化中加入物體與相機(jī)以及物體與地圖點(diǎn)的約束。

在復(fù)雜多變的環(huán)境下，基于深度學(xué)習(xí)的語義信息具有光線不變性，因此語義分割下的定位比較穩(wěn)定[70-71]。如，Stenborg等[70]?通過結(jié)合深度學(xué)習(xí)去解決SLAM中的位置識別問題。其核心思想是在已有3D地圖的基礎(chǔ)上利用圖像語義分割后得到的描述子代替?zhèn)鹘y(tǒng)描述子，然后再去建模，同時考慮2D點(diǎn)到3D點(diǎn)的映射關(guān)系。

雖然對語義SLAM已有不少初步探索，但由于其發(fā)展較晚，因此許多工作還僅處于起步階段，很多問題還沒有考慮，但可以預(yù)見未來幾年這方面的研究會越來越多。

?

深度學(xué)習(xí)下的不確定性估計(jì)

盡管深度神經(jīng)網(wǎng)絡(luò)在無人駕駛車輛控制或醫(yī)學(xué)圖像分析等高風(fēng)險領(lǐng)域非常有吸引力，但它們在重視安全的現(xiàn)實(shí)生活中的應(yīng)用仍然有限。而造成這種限制的主要原因是模型給出的預(yù)測結(jié)果并不總是可靠的。例如，在無人駕駛等對安全性要求較高的領(lǐng)域中，完全依賴深度模型進(jìn)行決策有可能導(dǎo)致災(zāi)難性的后果。為此，有必要對基于深度學(xué)習(xí)的移動機(jī)器人的不確定性進(jìn)行預(yù)測，以確保安全性。

一般地，模型中預(yù)測的不確定性大致可分為由模型引起的認(rèn)知不確定性（模型不確定性）和由數(shù)據(jù)引起的任意不確定性（數(shù)據(jù)不確定性）[10]。近年來，很多研究者對捕捉深度神經(jīng)網(wǎng)絡(luò)（DNN）中的不確定性表現(xiàn)出越來越大的興趣。貝葉斯模型就是預(yù)測認(rèn)知不確定性的重要方法之一[72]。該方法使用隨機(jī)失活方法（dropout方法）來訓(xùn)練DNN，訓(xùn)練得到的均值是預(yù)測值，而方差就是不確定度。本節(jié)重點(diǎn)討論定位與建圖過程中的不確定性估計(jì)和運(yùn)動跟蹤過程中的不確定性估計(jì)，以及這些不確定性估計(jì)的用途，表 3對現(xiàn)有的深度學(xué)習(xí)下不確定性估計(jì)算法進(jìn)行了總結(jié)。

表3 現(xiàn)有的深度學(xué)習(xí)下不確定性估計(jì)算法

在視覺SLAM系統(tǒng)中，定位或場景識別的不確定性是影響系統(tǒng)可信度的重要因素。語義分割是進(jìn)行長期視覺定位或者場景理解的重要工具，有意義的不確定性度量對于決策至關(guān)重要。隨著技術(shù)的發(fā)展，越來越多的工作對上述問題進(jìn)行了探討（如文[73-76]），并獲得了較理想的性能。

文[73] 提出了一種基于信息理論的視覺SLAM特征選擇方法SIVO（semantically informed visual odometry and mapping），該方法將語義分割和神經(jīng)網(wǎng)絡(luò)不確定性引入到特征選擇過程中，利用貝葉斯神經(jīng)網(wǎng)絡(luò)把特征的分類熵加到新的特征中，每一個被選擇的特征都顯著降低了車輛狀態(tài)的不確定性，并多次被檢測為靜態(tài)對象（建筑物、交通標(biāo)志等），且具有較高的置信度。根據(jù)這種選擇策略生成稀疏地圖，可以促進(jìn)長期定位。

貝葉斯SegNet網(wǎng)絡(luò)[74]?能夠通過對場景模型不確定性的度量來預(yù)測場景像素級的不確定性，其核心思想是在SegNet網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上增加隨機(jī)失活層與貝葉斯決策。算法通過多次的前向運(yùn)算得到多個輸出結(jié)果，對這些結(jié)果求均值得到最終預(yù)測的分割結(jié)果；求對應(yīng)位置像素的方差，得到模型的不確定性圖。此外，該算法還可以使用蒙特卡洛算法來生成像素類標(biāo)簽的后驗(yàn)分布，并在多個預(yù)測的結(jié)果中找到最優(yōu)的結(jié)果。

在實(shí)際應(yīng)用中除了需要進(jìn)行模型預(yù)測之外，也需要預(yù)測結(jié)果的置信度。利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)給定輸入的不確定性估計(jì)已受到越來越多研究者的重視。2018年，Wang等[77]?從深度學(xué)習(xí)的角度出發(fā)探討了視覺里程計(jì)估計(jì)的不確定性，針對基于深度遞歸卷積神經(jīng)網(wǎng)絡(luò)的單目VO，提出了一種端到端的序列間概率視覺里程計(jì)（ESP-VO）框架。通過這種方法，在不引入太多額外計(jì)算的情況下，可以有效地預(yù)測運(yùn)動變換的不確定性。為了驗(yàn)證算法的有效性，文[77] 在代表駕駛、飛行和步行情景的幾個數(shù)據(jù)集上進(jìn)行了廣泛的驗(yàn)證實(shí)驗(yàn)。結(jié)果表明，基于這些最小化誤差函數(shù)進(jìn)行全局優(yōu)化能減少系統(tǒng)的累積漂移，與其他先進(jìn)的方法相比，所提出的ESP-VO具有競爭優(yōu)勢。

鑒于單目自監(jiān)督網(wǎng)絡(luò)在深度估計(jì)時不需要深度標(biāo)注，因而越來越多的研究者開始致力于理解和量化自監(jiān)督網(wǎng)絡(luò)預(yù)測中深度不確定性的估計(jì)。2020年，Poggi等[78]?提出了一種新穎的不確定性估計(jì)方法，該方法用到2個網(wǎng)絡(luò)：一個網(wǎng)絡(luò)用于重建，主要利用翻轉(zhuǎn)圖像輸入的方法和多個不同的模型對同一張圖片的深度不確定性進(jìn)行預(yù)測；另一個網(wǎng)絡(luò)用來模擬重建網(wǎng)絡(luò)生成的分布，通過自監(jiān)督的方式學(xué)習(xí)一個可以預(yù)測不確定度的模型，其輸出為不確定度。在位姿未知的情況下，該方法可以始終提高深度的估計(jì)準(zhǔn)確度。另外，文[79] 提出一種自監(jiān)督的概率歸一化的卷積網(wǎng)絡(luò)，該方法可同時對深度與不確定度進(jìn)行預(yù)測。一方面，對輸入數(shù)據(jù)的不確定度進(jìn)行估計(jì)，使得該網(wǎng)絡(luò)可以基于數(shù)據(jù)可靠性進(jìn)行針對性的學(xué)習(xí)；另一方面，提出概率歸一化的卷積神經(jīng)網(wǎng)絡(luò)（NCNN），將訓(xùn)練過程轉(zhuǎn)變?yōu)樽畲蠡迫还烙?jì)問題，實(shí)現(xiàn)對輸出不確定度的估計(jì)。

綜上所述，在視覺SLAM中引入不確定估計(jì)后，可知模型對于預(yù)測結(jié)果的置信程度，有助于提高模型在實(shí)際場景環(huán)境中的應(yīng)用性能。但目前關(guān)于該理論的研究才剛剛起步，其學(xué)習(xí)的方法較少，在實(shí)際場景下的適應(yīng)性還有待進(jìn)一步驗(yàn)證。

?

未來發(fā)展趨勢

盡管基于深度學(xué)習(xí)的SLAM技術(shù)在精度和魯棒性上已經(jīng)表現(xiàn)出比傳統(tǒng)SLAM方法更優(yōu)的性能，解決方案也變得更有吸引力。但目前的研究仍處于初級階段，所設(shè)計(jì)的模型還存在不足，故無法完全解決當(dāng)前的問題。為了提高實(shí)際應(yīng)用中的適用性和安全性，研究人員還將面臨許多挑戰(zhàn)。為此，文中討論了幾點(diǎn)可能助力該領(lǐng)域進(jìn)一步發(fā)展的思路。

1) 適應(yīng)性更強(qiáng)的數(shù)據(jù)集標(biāo)注

深度學(xué)習(xí)嚴(yán)重依賴于海量的數(shù)據(jù)，如果想用這些數(shù)據(jù)來訓(xùn)練深度學(xué)習(xí)的模型，首先需要對它們進(jìn)行處理與標(biāo)注。從理想的角度看，標(biāo)注的數(shù)據(jù)數(shù)量越多，訓(xùn)練得到的模型效果也會越好。但是，在實(shí)際標(biāo)注過程中，不但需要結(jié)合實(shí)際的硬件資源與時間，還需要注意數(shù)據(jù)量的增大給模型效果提升帶來的負(fù)面影響。數(shù)據(jù)標(biāo)注的質(zhì)量將直接影響訓(xùn)練得到的深度學(xué)習(xí)模型的可靠性。

綜上所述，提高數(shù)據(jù)標(biāo)注的質(zhì)量也成為了該領(lǐng)域的研究重點(diǎn)。數(shù)據(jù)標(biāo)注是一個耗費(fèi)成本與時間的過程，經(jīng)濟(jì)、高效地完成數(shù)據(jù)標(biāo)注，這是研究人員必須面對和解決的難題。如何在成本與質(zhì)量這兩者之間找到一個平衡就顯得尤為重要。同時，期望未來能夠利用SLAM方法來構(gòu)建圖像之間存在對應(yīng)關(guān)系的大規(guī)模的數(shù)據(jù)集，這可能有助于解決數(shù)據(jù)標(biāo)注問題。

2) 深度學(xué)習(xí)模型的拓展

目前，許多基于深度學(xué)習(xí)的模型，如卷積神經(jīng)網(wǎng)絡(luò)、長短期記憶網(wǎng)絡(luò)和自動編碼器等都是端到端的學(xué)習(xí)方式。盡管這些模型的快速發(fā)展提升了系統(tǒng)的魯棒性和準(zhǔn)確性，但在實(shí)際應(yīng)用場景中，許多數(shù)據(jù)是從非歐氏空間生成的，而傳統(tǒng)的端到端的深度學(xué)習(xí)方法對此類數(shù)據(jù)的處理能力卻難以使人滿意。

近幾年，越來越多的學(xué)者對深度學(xué)習(xí)方法在圖數(shù)據(jù)上的擴(kuò)展產(chǎn)生了濃厚的興趣。用于處理圖數(shù)據(jù)的圖神經(jīng)網(wǎng)絡(luò)（graph neural network）[80]?由此應(yīng)運(yùn)而生。從本質(zhì)上講，圖神經(jīng)網(wǎng)絡(luò)是幾何深度學(xué)習(xí)的一部分，主要是將端到端學(xué)習(xí)與歸納推理相結(jié)合，研究具有結(jié)構(gòu)屬性、拓?fù)湫再|(zhì)的數(shù)據(jù)的學(xué)習(xí)和預(yù)測任務(wù)。因此，對于圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的深入研究有助于解決深度學(xué)習(xí)無法處理的關(guān)系推理和組合泛化的問題，是未來一個新的研究熱點(diǎn)。

3) 多傳感器融合算法的研究

在現(xiàn)實(shí)生活中，移動機(jī)器人或硬件設(shè)備往往不僅僅只攜帶一種傳感器，而是多種傳感器相互配合使用。不同傳感器的最遠(yuǎn)探測距離、精度、功能等各不相同，因此在使用多種傳感器的情況下，要想保證系統(tǒng)決策的可靠性和快速性，就必須對傳感器進(jìn)行信息融合。例如，手機(jī)VIO系統(tǒng)就是通過融合IMU數(shù)據(jù)和相機(jī)信息，彌補(bǔ)了單一傳感器的不足，為實(shí)現(xiàn)SLAM的小型化和低成本提供了行之有效的研究方向。DeLS-3D設(shè)計(jì)[81]?融合了相機(jī)視頻、運(yùn)動傳感器（GPS/IMU）等數(shù)據(jù)和3維語義地圖，可以提升SLAM系統(tǒng)的魯棒性和效率。上述例子表明，將多種具有互補(bǔ)性的傳感器進(jìn)行融合是提升SLAM系統(tǒng)精度和魯棒性的重要途徑。

多傳感器融合的軟硬件難以分離。當(dāng)前，在硬件層面實(shí)現(xiàn)多傳感器融合并不難，重點(diǎn)和難點(diǎn)在于如何實(shí)現(xiàn)算法和傳感器之間的融合。另外，動態(tài)與未知環(huán)境下的融合問題也將是多傳感器融合面臨的另一個難題。相信隨著技術(shù)的不斷發(fā)展，算法融合問題將會得到很好的解決，多傳感器融合技術(shù)也許很快就會在實(shí)際生活中得到廣泛應(yīng)用。

?

結(jié)論

從已有的大量研究可以看出，基于深度學(xué)習(xí)的SLAM方法雖然是一個剛起步且在不斷發(fā)展的研究領(lǐng)域，但是已逐漸引起了研究者的廣泛關(guān)注。

到目前為止，深度學(xué)習(xí)與SLAM的結(jié)合已經(jīng)在視覺里程計(jì)、場景識別與全局優(yōu)化等各種任務(wù)中取得了顯著的成果。同時，由于深度神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的非線性擬合能力，可以任意逼近人工建模難以模擬的非線性函數(shù)，因此在實(shí)際應(yīng)用中魯棒性更佳。

此外，語義信息與傳統(tǒng)視覺SLAM算法的集成有助于提高對圖像特征的理解，對構(gòu)建高精度的語義圖也產(chǎn)生了重要影響?；谏疃葘W(xué)習(xí)的SLAM技術(shù)的快速發(fā)展為移動機(jī)器人向?qū)嵱没⑾盗谢?、智能化發(fā)展提供了助力。

審核編輯：黃飛

?