No.1

前沿

SLAM（Simultaneous Localization and Mapping），其中文翻譯為同步定位與地圖構(gòu)建，即可以在未知環(huán)境中通過傳感器的信息來定位自身的位姿，并同時(shí)構(gòu)建環(huán)境的三維地圖，因其在AR/VR、自動(dòng)駕駛、機(jī)器人領(lǐng)域的巨大應(yīng)用價(jià)值，得到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。

SLAM示意圖SLAM技術(shù)主要提供兩方面的能力：即空間定位（Localization）和環(huán)境重建（Mapping）。而這兩方面的能力也是AR/VR的關(guān)鍵基礎(chǔ)技術(shù)。環(huán)境重建（Mapping）能力可以識別真實(shí)物理世界的幾何結(jié)構(gòu)，提供了AR/VR虛擬場景與真實(shí)物理世界疊加的載體。而空間定位（Localization）能力，或者我們稱之為6DoF運(yùn)動(dòng)跟蹤，則能夠保證虛擬場景與真實(shí)世界的融合能夠在不同視角下的一致性。

No.2

XRSLAM特性介紹

XRSLAM[4]是OpenXRLab空間計(jì)算平臺中基于C++語言實(shí)現(xiàn)的SLAM算法庫，算法基于單目視覺和IMU實(shí)現(xiàn)了輕量級的VIO，同時(shí)支持桌面平臺和移動(dòng)平臺，算法在EuRoC[3]等公開數(shù)據(jù)集上達(dá)到SOTA級別的精度，支持普通手機(jī)終端30fps的實(shí)時(shí)處理幀率。

1

模塊化的設(shè)計(jì)

XRSLAM的整個(gè)框架如下圖所示，算法支持多種不同傳感器數(shù)據(jù)作為輸入，經(jīng)過XRSLAM算法內(nèi)部的融合優(yōu)化算法得到實(shí)時(shí)相機(jī)位姿。在當(dāng)前開源的版本中，XRSLAM的核心是一個(gè)輕量級的VIO算法，其中包括對IMU數(shù)據(jù)的預(yù)積分，對圖像數(shù)據(jù)的特征匹配，基于視覺、IMU的線性對齊初始化以及完整的劃窗優(yōu)化等。其中特征匹配采用了OpenCV[5]的光流來實(shí)現(xiàn)。

OpenXRLab-XRSLAM框架算法內(nèi)部根據(jù)核心模塊、狀態(tài)估計(jì)、多視圖幾何、視覺定位、地圖結(jié)構(gòu)、AR展示、實(shí)用工具等不同類別，模塊化了不同的函數(shù)和類，方便開發(fā)者上手和拓展更多功能。

XRSLAM設(shè)計(jì)了靈活易拓展的多傳感器支持，當(dāng)前發(fā)布的版本以單目相機(jī)和IMU作為傳感器輸入，在此基礎(chǔ)上，我們會進(jìn)一步拓展到多目相機(jī)、深度相機(jī)以及廣角相機(jī)等更多配置。

2

跨平臺的開發(fā)

算法庫核心部分只依賴Eigen[6]、OpenCV[5]、Ceres Solver[7]等常用基礎(chǔ)庫，而且這些基礎(chǔ)庫都已經(jīng)包含在我們的XRPrimer基礎(chǔ)庫中。XRSLAM支持Linux、Mac、Android、iOS等多個(gè)平臺的編譯運(yùn)行，當(dāng)前發(fā)布的版本中，我們也提供了Linux/Mac和iOS的完整的編譯流程和可以方便運(yùn)行的demo。

3

完善的文檔說明

為了讓用戶能快速上手XRSLAM，我們提供了詳盡的文檔和教程供使用者參考，其中包含了：

如何在PC平臺編譯和運(yùn)行

如何在移動(dòng)平臺開發(fā)AR demo

VIO能夠正常穩(wěn)定的運(yùn)行，依賴對多傳感器參數(shù)進(jìn)行提前標(biāo)定，我們提前對近幾年的iOS設(shè)備進(jìn)行了參數(shù)標(biāo)定，使得開發(fā)者隨手可以快速運(yùn)行起來我們的AR demo。

最后，考慮到配置系統(tǒng)環(huán)境容易出現(xiàn)各種問題，XRSLAM還提供了完整的docker鏡像，幫助開發(fā)者快速地基于統(tǒng)一的系統(tǒng)環(huán)境上手開發(fā)SLAM。

在我們的XRSLAM的官方github頁面，我們將及時(shí)回答大家在使用XRSLAM的問題并盡力處理各類issue，歡迎大家踴躍參與討論！

No.3

XRSLAM性能指標(biāo)

XRSLAM在EuRoC上進(jìn)行了精度評測，并與目前SOTA算法VINS-Mono進(jìn)行了對比（其中VINS-Mono的結(jié)果是基于開源代碼本地復(fù)現(xiàn)的結(jié)果）。從結(jié)果看，XRSLAM的精度具備顯著的領(lǐng)先性。另外，XRSLAM也可以在移動(dòng)端實(shí)時(shí)運(yùn)行，算法處理效率可以支持30Fps以上的數(shù)據(jù)處理幀率。

效果指標(biāo)對比結(jié)果（注意這里的精度指標(biāo)都不包含回路閉合的功能）

EuRoC V101算法運(yùn)行可視化效果

移動(dòng)端AR效果(視頻2倍速播放)

No.4

總結(jié)

SLAM是一個(gè)既古老又充滿活力的研究領(lǐng)域，在這個(gè)方向仍有很多值得研究的熱點(diǎn)問題。XRSLAM提供一個(gè)開放的平臺，以簡潔高效、跨平臺、易拓展的形式，歡迎大家在此平臺上進(jìn)行二次開發(fā)，共同探索SLAM方向的新的研究課題和技術(shù)突破。

審核編輯 ：李倩