[首發(fā)于智駕最前沿微信公眾號]對于自動(dòng)駕駛汽車來說，“看”世界的方式不只有一種，一般情況下，會(huì)有多個(gè)傳感器用來感知交通環(huán)境，常見的傳感器有激光雷達(dá)（LiDAR）、攝像頭、毫米波雷達(dá)、慣性測量單元（IMU）等等。這些傳感器各自以不同方式、不同頻率不斷采集外界的數(shù)據(jù)。為了確保感知的準(zhǔn)確性，會(huì)在感知數(shù)據(jù)處理時(shí)，非常注意時(shí)間同步。

為什么要講“時(shí)間同步”這個(gè)事兒

之所以時(shí)間同步非常重要，是因?yàn)椴煌瑐鞲衅鞯拿恳粠瑪?shù)據(jù)都有時(shí)間標(biāo)簽（時(shí)間戳），時(shí)間戳不對齊的話，把它們的數(shù)據(jù)放在一起看世界就會(huì)出錯(cuò)。

舉個(gè)很直觀的例子。攝像頭拍照是瞬間行為，某一刻拍攝的圖片中，整張圖片的數(shù)據(jù)就是那個(gè)瞬間的場景。但激光雷達(dá)是通過旋轉(zhuǎn)發(fā)射激光脈沖來掃一圈生成點(diǎn)云數(shù)據(jù)的，一圈可能要幾十毫秒甚至上百毫秒。如果我們把一個(gè)攝像頭的圖像和一個(gè)激光雷達(dá)的點(diǎn)云直接拼在一起，沒有處理時(shí)間差的話，很容易出現(xiàn)“畫面描述跟點(diǎn)云不一致”的情況，特別是在車輛高速運(yùn)動(dòng)或者場景里有動(dòng)態(tài)物體（比如行人、自行車）的時(shí)候，這種不一致會(huì)更加明顯。

對于自動(dòng)駕駛感知模塊來說，這種時(shí)間偏差就像一張“局部滯后”的世界圖，很容易導(dǎo)致誤判和決策錯(cuò)誤。時(shí)間同步，就是要把這些不同來源的數(shù)據(jù)對齊，讓它們看待同一個(gè)時(shí)間點(diǎn)的世界。

在自動(dòng)駕駛汽車上，使用較多的傳感器就是攝像頭和激光雷達(dá)，想要聊他們的時(shí)間同步，得先理解激光雷達(dá)和攝像頭在數(shù)據(jù)采集上的差異。

攝像頭拍照是“瞬間完成”的事情，一旦快門打開關(guān)閉，那一幀圖像的所有像素都近似在同一時(shí)間被捕獲（當(dāng)然，這個(gè)時(shí)間同時(shí)還依賴攝像頭的快門方式，比如滾動(dòng)快門和全局快門會(huì)有細(xì)節(jié)差別，但本質(zhì)是“一次曝光完就是一幀”）。

激光雷達(dá)則是靠發(fā)射激光脈沖、接收反射信號并計(jì)算時(shí)間差來獲得距離信息。為了覆蓋一個(gè)完整的360°視角，它需要不斷旋轉(zhuǎn)或機(jī)械掃描。在一圈掃描里，一些點(diǎn)是在開始時(shí)采集的，有些是在結(jié)束時(shí)采集的，這就導(dǎo)致一個(gè)完整的點(diǎn)云本身內(nèi)部就存在時(shí)間差。

當(dāng)你想把某一幀圖像和某一幀點(diǎn)云對齊時(shí)，如果攝像頭拿的是這個(gè)時(shí)刻的圖像，而激光雷達(dá)的點(diǎn)云包含了前面幾十毫秒和后面幾十毫秒的數(shù)據(jù)，即便簡單按照“最接近的時(shí)間戳”去匹配，也會(huì)有明顯誤差。時(shí)間不同步會(huì)給后續(xù)的融合算法帶來麻煩，像是目標(biāo)檢測和定位，就需要對應(yīng)的圖像特征和點(diǎn)云特征對齊才能算得準(zhǔn)確的位置和類別。時(shí)間同步，就是要把這種時(shí)間上的偏差降到可接受的范圍。

硬件層面的時(shí)間同步

在自動(dòng)駕駛系統(tǒng)里，最靠譜的時(shí)間同步方式之一就是從硬件層面入手，旨在讓不同傳感器共享一個(gè)共同的時(shí)間基準(zhǔn)。簡單理解就是讓所有傳感器在同一個(gè)時(shí)鐘上計(jì)時(shí)。

1）統(tǒng)一時(shí)鐘源

時(shí)間同步最基礎(chǔ)的辦法是給所有傳感器一個(gè)共同的時(shí)間來源。這可以是GPS提供的時(shí)間信號，也可以是車輛主控計(jì)算單元上的高精度時(shí)鐘。很多自動(dòng)駕駛系統(tǒng)會(huì)利用GPS的1PPS（每秒脈沖）信號結(jié)合IEEE 1588的PTP（Precision Time Protocol，精密時(shí)間協(xié)議）來做同步。

GPS的1PPS信號每秒會(huì)發(fā)出一個(gè)脈沖，能提供一個(gè)非常準(zhǔn)確的時(shí)間基準(zhǔn)，傳感器可以把這個(gè)信號作為參考時(shí)刻，然后自己的內(nèi)部時(shí)鐘按照這個(gè)節(jié)奏來計(jì)時(shí)。PTP則是在網(wǎng)絡(luò)層面提供精確的時(shí)間同步協(xié)議，讓車載以太網(wǎng)設(shè)備之間能精確對齊時(shí)間。這樣激光雷達(dá)、攝像頭、IMU等都可以把它們的時(shí)間戳掛在同一個(gè)時(shí)間線上。

硬件層面的統(tǒng)一時(shí)鐘讓時(shí)間差幾乎不可能積累成大誤差，而且所有模塊都能按統(tǒng)一時(shí)間看世界，但網(wǎng)絡(luò)延遲、硬件時(shí)鐘漂移等問題不可避免。

2）硬件觸發(fā)信號

還有一種比較直接的做法是利用硬件觸發(fā)。也就是讓一個(gè)傳感器發(fā)出觸發(fā)信號去控制另一個(gè)傳感器采集。比如說激光雷達(dá)在旋轉(zhuǎn)到某一角度時(shí)觸發(fā)一次輸出信號，讓攝像頭正好在那個(gè)瞬間拍一張照片。這樣就能保證那一幀點(diǎn)云某些角度對應(yīng)的時(shí)刻正好是那個(gè)圖像拍攝的時(shí)刻。

這種做法可以讓兩個(gè)傳感器在同一個(gè)外部事件下同時(shí)采集數(shù)據(jù)。優(yōu)點(diǎn)是時(shí)間一致性強(qiáng)，不需要復(fù)雜的時(shí)間協(xié)議。缺點(diǎn)是只針對特定的事件觸發(fā)，不一定適合所有場景，而且布線比較麻煩，需要額外的觸發(fā)線連接各個(gè)傳感器。

3）時(shí)鐘同步協(xié)議

前面提到的PTP是一種工業(yè)上常用的協(xié)議，它的原理是讓各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)不斷互相交換時(shí)間信息，自動(dòng)修正各自時(shí)鐘的偏差。很多高端攝像頭、激光雷達(dá)以及車載計(jì)算平臺(tái)都支持這種協(xié)議，可以讓多個(gè)設(shè)備在以太網(wǎng)上“看一樣的時(shí)間”。

這種方式相對靈活一些，不需要額外的硬件信號線，通過網(wǎng)絡(luò)就可以同步多個(gè)設(shè)備的時(shí)間。但是它也依賴網(wǎng)絡(luò)質(zhì)量，對延遲敏感。PTP的精度一般能達(dá)到微秒級甚至更好，已經(jīng)能滿足大部分自動(dòng)駕駛應(yīng)用的需求。

軟件層面的時(shí)間處理

即便硬件同步做得再好，實(shí)際運(yùn)行過程中仍然會(huì)有微小偏差、抖動(dòng)或者不能完全精確對齊。這時(shí)就需要在軟件層面做一些補(bǔ)償，讓數(shù)據(jù)在時(shí)間上“貼得更緊”。

1）時(shí)間戳插值和對齊

當(dāng)你有兩種傳感器的時(shí)間戳數(shù)據(jù)時(shí)，可以通過模型預(yù)測或者線性插值得到某一時(shí)刻的估計(jì)數(shù)據(jù)。如某一時(shí)刻圖像和前后兩次激光雷達(dá)數(shù)據(jù)的時(shí)間戳都已知，可以根據(jù)時(shí)間線性插值得到這個(gè)時(shí)刻激光雷達(dá)的估計(jì)點(diǎn)云。這種方法是根據(jù)已知的時(shí)間關(guān)系填補(bǔ)時(shí)間空檔，讓數(shù)據(jù)在時(shí)間線上更一致。

這一技術(shù)的核心是做時(shí)間差分析，然后用數(shù)學(xué)方法彌補(bǔ)偏差。雖然不能完全消除硬件時(shí)間偏差，但在很多實(shí)際場景里已經(jīng)足夠用。因?yàn)樽詣?dòng)駕駛系統(tǒng)的算法模塊一般會(huì)有一定的容忍度，只要誤差在可控范圍內(nèi)，就不會(huì)影響整體感知和決策結(jié)果。

2）軟件同步模塊

在實(shí)際軟件棧中，比如ROS（機(jī)器人操作系統(tǒng)）或是某些車載平臺(tái)，會(huì)提供同步模塊。這些模塊會(huì)把不同傳感器的消息訂閱進(jìn)來，然后按照一定的時(shí)間窗口進(jìn)行匹配。如ROS里有message_filters包，可以設(shè)置一個(gè)時(shí)間容忍區(qū)間，把攝像頭和激光雷達(dá)的數(shù)據(jù)按照時(shí)間戳進(jìn)行對齊匹配。這樣，只有符合時(shí)間要求的數(shù)據(jù)對才會(huì)被送去處理。雖然這種方法不完美，但在缺乏硬件同步的情況下，依舊是比較實(shí)用的辦法。很多開源項(xiàng)目也采用這種方式去實(shí)現(xiàn)不同傳感器的粗同步。

3）在線時(shí)間偏差補(bǔ)償

還有更高級的做法就做在線時(shí)鐘偏差估計(jì)，通過卡爾曼濾波或其他濾波算法來估計(jì)實(shí)時(shí)的時(shí)間漂移，然后動(dòng)態(tài)調(diào)整時(shí)間戳。這種方式需要在軟件層面不斷監(jiān)測傳感器時(shí)鐘的漂移情況，實(shí)時(shí)計(jì)算補(bǔ)償值。這種算法的好處在于能自適應(yīng)不同的時(shí)間漂移情況，缺點(diǎn)是對計(jì)算資源的需求更高一些，而且實(shí)現(xiàn)起來也有一定復(fù)雜度。

時(shí)間同步要面對的現(xiàn)實(shí)挑戰(zhàn)

時(shí)間同步聽起來只是將傳感器之間的時(shí)間統(tǒng)一，可通過硬件和軟件的方式來時(shí)間，但在實(shí)際落地時(shí)，依然有很多問題需要解決。

不同傳感器本身的采集機(jī)制不一樣。激光雷達(dá)的點(diǎn)云數(shù)據(jù)是掃描得到的，有內(nèi)部時(shí)間分布；攝像頭的曝光是一瞬間的；其他像IMU這種傳感器則是以非常高的頻率輸出數(shù)據(jù)。這就要求時(shí)間同步系統(tǒng)要處理的不僅僅是兩個(gè)不同數(shù)據(jù)幀的時(shí)間戳，還要理解它們內(nèi)部數(shù)據(jù)生成的時(shí)間結(jié)構(gòu)。此外，還有些傳感器可能根本提供不了精確的時(shí)間戳，或者時(shí)間戳只能由主機(jī)采集，這樣就更難統(tǒng)一時(shí)間。

即便有統(tǒng)一時(shí)鐘源，如果網(wǎng)絡(luò)延遲不穩(wěn)定，各個(gè)設(shè)備接收到時(shí)間信號的延遲也是不一樣的，這會(huì)導(dǎo)致時(shí)間同步協(xié)議在微觀時(shí)間尺度上的偏差。網(wǎng)絡(luò)抖動(dòng)、車載計(jì)算平臺(tái)系統(tǒng)負(fù)載變化等因素都會(huì)影響時(shí)間同步的精度。協(xié)議要處理這些不確定性，需要在底層實(shí)現(xiàn)大量時(shí)間補(bǔ)償機(jī)制。

有些自動(dòng)駕駛系統(tǒng)的不同傳感器還有不同幀率，那如何對齊這些不同頻率的數(shù)據(jù)也是一大技術(shù)問題。通常需要設(shè)計(jì)復(fù)雜的匹配策略，保證時(shí)間線上的數(shù)據(jù)不丟失，也不會(huì)產(chǎn)生誤匹配。

最后的話

時(shí)間同步在自動(dòng)駕駛里確實(shí)是一個(gè)看似簡單但實(shí)際很關(guān)鍵的問題。它要求硬件和軟件協(xié)作，從源頭上統(tǒng)一傳感器時(shí)間基準(zhǔn)，通過時(shí)間戳、觸發(fā)信號、協(xié)議機(jī)制來讓不同傳感器的數(shù)據(jù)都能在同一個(gè)時(shí)間線上對齊。然后再通過軟件算法進(jìn)行進(jìn)一步的補(bǔ)償和對齊，讓后續(xù)的融合算法（比如目標(biāo)檢測、定位、追蹤）能有更高質(zhì)量的數(shù)據(jù)輸入。

只要做到時(shí)間同步，激光雷達(dá)和攝像頭的數(shù)據(jù)就能被更準(zhǔn)確地融合，自動(dòng)駕駛系統(tǒng)能更真實(shí)、更一致地“理解”周圍世界，也就能更安全、更可靠地做出駕駛決策。