自動駕駛領域中開源的4D Radar數(shù)據(jù)分析

4D Radar在自動駕駛領域中越來越受關注，在價格和功能上都有比較大的競爭力，相關研究也逐漸open，今天為大家盤點下開源的4D Radar數(shù)據(jù)，為相關科學研究提供保障！

1Astyx

Astyx數(shù)據(jù)集是第一個公開的包含4D雷達點云的數(shù)據(jù)集，提出了一個基于雷達、激光雷達和攝像機數(shù)據(jù)的以雷達為中心的汽車數(shù)據(jù)集，用于3D物體檢測。主要重點是向研究界提供高分辨率雷達數(shù)據(jù)，刺激使用雷達傳感器數(shù)據(jù)的算法研究。為此，提供了用于物體檢測的半自動生成和手動重新定義的3D地面真實數(shù)據(jù)。論文描述了生成此類數(shù)據(jù)集的完整過程，重點介紹了相應高分辨率雷達的一些主要功能，并通過在此數(shù)據(jù)集上顯示基于深度學習的3D對象檢測算法的結果，展示了其在3-5級自動駕駛應用中的使用。

由于手動標記是一項非常繁瑣、緩慢和昂貴的任務，無法擴展到更大的數(shù)據(jù)集，因此自動預標記和手動重新定義是非常必要的。對于此任務，本文使用[16]的工作，基于深度學習的3D目標檢測，并對低級傳感器數(shù)據(jù)執(zhí)行多傳感器融合。為了盡量減少需要手動重新定義的標簽數(shù)量，將此3D目標檢測網(wǎng)絡嵌入到基于不確定性采樣的主動學習方法中，使用估計分數(shù)作為近似值（見圖3）。為此，從網(wǎng)絡最不確定其決策的自動預標記數(shù)據(jù)N幀中提取數(shù)據(jù)，通過手動微調(diào)進行校正，從而在下一輪訓練和預標記中最大化網(wǎng)絡的信息增益。

現(xiàn)階段免費提供的最終數(shù)據(jù)集由500個同步幀（雷達、激光雷達、相機）組成，其中包含大約3000個非常精確標記的3D對象注釋。盡管大多數(shù)對象都屬于“汽車”類，但論文也提供了總共7類（公共汽車、汽車、自行車、摩托車、人、拖車、卡車）的少量真實數(shù)據(jù)。

gt數(shù)據(jù)注釋包含每個對象的以下屬性：

?3D位置（x、y、z）

?3D旋轉（rx、y、rz）

?3D尺寸（w、l、h）

?類信息

?不確定性（位置、尺寸）

數(shù)據(jù)格式都是非專有的標準圖像和點云格式，3D目標檢測gt采用文本格式。如[7]所示，本文沒有為目標檢測算法的標準化評估和排序提供正式的基準測試套件，因為這將要求保留測試數(shù)據(jù)，以避免對評估測試集進行過度設置。這帶來了一個有趣的問題，因為作者也在研究和開發(fā)基于這些數(shù)據(jù)的目標檢測算法，這將是唯一能夠完全控制gt真實數(shù)據(jù)的算法。圖4顯示了激光雷達和雷達傳感器的點云密度分布，圖5顯示了不同類別的地面實況對象分布。在圖7中展示了地面實況數(shù)據(jù)中汽車的示例性定向和空間分布。

2RADIal

雷達傳感器憑借其對惡劣天氣條件的魯棒性和測量速度的能力，20多年來一直是汽車領域的一部分。汽車雷達自90年代后期開始生產(chǎn)。它們是自適應巡航控制、盲點檢測和自動緊急制動功能的首選、最便宜的傳感器。然而，它們的角度分辨率較差，這阻礙了它們在自動駕駛系統(tǒng)中的應用。事實上，此類系統(tǒng)需要高水平的安全性和魯棒性，通常通過冗余機制實現(xiàn)。雖然通過融合多個模態(tài)改善了感測，但只有當每個傳感器都達到足夠和可比的性能時，整體組合才有效。高清晰度（HD）成像雷達已經(jīng)出現(xiàn)以滿足這些要求。通過使用密集的虛擬天線陣列，這些新傳感器在方位角和仰角（分別為水平和垂直角位置）上實現(xiàn)了高角度分辨率，并產(chǎn)生了更密集的點云。最近在高清晰度（HD）成像雷達方面取得的進展已將角度分辨率降低到度以下，從而接近激光掃描性能。然而，高清雷達提供的數(shù)據(jù)量和估計角位置的計算成本仍然是一個挑戰(zhàn)。本文提出了一種新的高清雷達感測模型FFT-RadNet，它消除了計算距離-方位-多普勒3D張量的開銷，學習從距離-多普勒頻譜恢復角度。FFTRadNet被訓練來檢測車輛和分割自由駕駛空間。在這兩項任務上，它都與最新的基于雷達的模型競爭，同時需要更少的計算和內(nèi)存。此外還收集并注釋了來自同步汽車級傳感器的2小時原始數(shù)據(jù)（相機、激光、高清雷達）在各種環(huán)境（城市街道、高速公路、鄉(xiāng)村道路）中的應用。這個獨特的數(shù)據(jù)集稱之為RADIal，意為“雷達、激光雷達等”。

RADIal包括一套3個傳感器（相機、激光掃描儀、高清雷達），并配有GPS和車輛的CAN軌跡，以原始格式記錄25k個同步樣本。（a） camera圖像，投影激光點云為紅色，雷達點云為靛藍，車輛標注為橙色，自由駕駛空間注釋為綠色；（b）帶有邊界框注釋的雷達功率譜；（c）鳥瞰圖中的自由駕駛空間標注，車輛標注橙色邊界框，雷達點云標注靛藍，激光點云標注紅色；（d）與雷達點云和激光點云疊加的笛卡爾坐標中的距離方位圖；（e） GPS軌跡為紅色，里程軌跡重建為綠色；

如下表所示，除相機外，所有傳感器均為汽車級合格傳感器。除此之外，還提供了GPS位置和車輛的完整CAN總線（包括里程表）。傳感器信號以原始格式同時記錄，無需任何信號預處理。對于高清雷達，原始信號是ADC。根據(jù)ADC數(shù)據(jù)，可以生成所有常規(guī)雷達表示：距離方位-多普勒張量、距離方位和距離多普勒視圖或點云。RADIal包含約1-4分鐘的91個序列，共2小時。這總計約為25k個同步幀，其中8252個標有9550輛車輛（詳見附錄A）。車輛注釋由圖像平面中的2D框以及到傳感器的真實距離和多普勒值（相對徑向速度）組成。雷達信號的注釋很難實現(xiàn)，因為RD頻譜表示對人眼沒有意義。

3K-Radar

不同于使用可見光帶（384～769太赫茲）和使用紅外波段的激光雷達（361～331太赫茲），雷達使用相對較長波長的無線電頻帶（77～81GHz），導致在不利天氣下的穩(wěn)健測量。然而，與現(xiàn)有的相機和激光雷達數(shù)據(jù)集相比，現(xiàn)有的雷達數(shù)據(jù)集只包含相對較少的樣本。這可能會阻礙基于雷達感知的復雜數(shù)據(jù)驅動深度學習技術的發(fā)展。此外，大多數(shù)現(xiàn)有雷達數(shù)據(jù)集僅提供3D雷達張量（3DRT）數(shù)據(jù)，該數(shù)據(jù)包含沿多普勒、距離和方位維度的功率測量。由于沒有高程信息，因此從3DRT估計對象的3D邊界框是一項挑戰(zhàn)。本文介紹了KAIST雷達（K-Radar），這是一個新的大規(guī)模目標檢測數(shù)據(jù)集和基準，它包含35K幀的4D雷達張量（4DRT）數(shù)據(jù)，以及沿多普勒、距離、方位和海拔維度的功率測量，以及仔細標注的道路上目標的3D邊界框標簽。

K-Radar包括各種道路結構（城市、郊區(qū)道路、小巷和高速公路）上的惡劣天氣（霧、雨和雪）等具有挑戰(zhàn)性的駕駛條件。除了4DRT之外，還提供經(jīng)過仔細校準的高分辨率激光雷達、stereo相機和RTK-GPS的輔助測量。論文還提供了基于4DRT的目標檢測基線神經(jīng)網(wǎng)絡（基線NN），并表明高度信息對于3D目標檢測至關重要。通過將基線神經(jīng)網(wǎng)絡與基于激光雷達的類似結構的神經(jīng)網(wǎng)絡進行比較，證明了4D雷達對于惡劣天氣條件是一種更為魯棒的傳感器。

惡劣天氣條件下的大部分畫面是在韓國的江原道收集的，該省是全國年降雪量最高的省份。另一方面，帶有城市環(huán)境的框架大多在韓國的大田收集。數(shù)據(jù)收集過程產(chǎn)生35K幀的多模態(tài)傳感器測量值，構成K-Radar數(shù)據(jù)集。根據(jù)附錄C中列出的標準將收集的數(shù)據(jù)分為幾個類別。此外，本文將數(shù)據(jù)集劃分為訓練集和測試集，使每個條件以平衡的方式出現(xiàn)在兩個集中，如圖4所示，在距離自車輛120米的縱向半徑和80米的橫向半徑范圍內(nèi)，道路上的物體（即轎車、公共汽車或卡車、行人、自行車和摩托車）有93.3K的3D邊界框標簽。請注意，只注釋出現(xiàn)在正縱軸上的對象，即自我載體前面的對象。

圖5展示了K-Radar數(shù)據(jù)集中的目標類別分布和距電子飛行器的目標距離，K-Radar可用于評估不同距離物體的3D目標檢測網(wǎng)絡的性能。

詳細的數(shù)據(jù)集信息：

4TJ4DRadSet

下一代高分辨率汽車雷達（4D雷達）可以提供額外的高程測量和更密集的點云，這在自動駕駛中具有巨大的3D感測潛力。本文介紹了一個名為TJ4DRadSet的數(shù)據(jù)集，該數(shù)據(jù)集包含用于自動駕駛研究的4D雷達點。數(shù)據(jù)集是在不同的駕駛場景中收集的，總共有7757個同步幀，共有44個連續(xù)序列，并用3D邊界框和軌跡ID進行了很好的注釋。我們?yōu)閿?shù)據(jù)集提供基于4D雷達的3D物體檢測基線，演示了深度學習方法對4D雷達點云的有效性。

對于自動駕駛車輛來說，高可靠性、低成本、高分辨率的感知模塊是必不可少的。目前，感知模塊主要使用相機、激光雷達和汽車雷達等傳感器獲取不同模式的環(huán)境信息。不可否認，相機和激光雷達易受惡劣條件的影響，如雨、霧和強光，其性能將隨著逆境的增加而顯著下降。相比之下，汽車雷達是必不可少的，因為它具有強大的魯棒性和成本效益。由于方位分辨率低，傳統(tǒng)的汽車雷達僅用于盲點檢測、碰撞警告和其他駕駛輔助應用。新一代4D雷達的出現(xiàn)彌補了傳統(tǒng)汽車雷達的低清晰度，并提供了高度測量，非常適合于高級自動駕駛應用。4D雷達的四個維度是距離、方位、高度和多普勒速度。它還提供了一些其他低級特征，如雷達截面（RCS）或信噪比（SNR）。

TJ4DRadSet的數(shù)據(jù)集是一個自動駕駛數(shù)據(jù)集，包含連續(xù)序列的4D雷達點云，并帶有3D注釋，它還提供了激光雷達、相機和GNSS的多模態(tài)完整信息。TJ4DRadSet包含40K幀的同步數(shù)據(jù)，其中7757幀，44個帶有高質(zhì)量注釋3D邊界框和軌跡的序列ID。3D注釋系統(tǒng)使用聯(lián)合多傳感器注釋和多輪手動檢查。TJ4DRadSet涵蓋各種道路條件，如高架道路、復雜交叉口、單向道路和城市道路。它還包括惡劣的照明條件，如強光和黑暗。該數(shù)據(jù)集適合于開發(fā)基于4D雷達的3D感知算法，以促進其在高級自主駕駛中的應用。