在自主駕駛領(lǐng)域，已經(jīng)建立了大量的數(shù)據(jù)集來輔助完成三維或二維目標(biāo)檢測、立體視覺、語義或?qū)嵗指畹热蝿?wù)。然而，更有意義的自主車輛周圍對象的動態(tài)演化卻很少被利用，并且缺乏大規(guī)模的數(shù)據(jù)集平臺。為了解決這個問題，西安交通大學(xué)構(gòu)建并公開了BLVD數(shù)據(jù)集，與以往靜態(tài)檢測、語義或者實例分割任務(wù)的數(shù)據(jù)集不同，BLVD旨在為動態(tài)4D跟蹤(3D+時間)、5D交互事件識別(4D+交互行為)和意圖預(yù)測等任務(wù)提供一個統(tǒng)一的驗證平臺。

BLVD數(shù)據(jù)集與之前的數(shù)據(jù)集相比將體現(xiàn)出對交通場景的更深層次理解。BLVD一共標(biāo)注654個包含12萬幀的序列。并進行了全序列5D語義注釋。包含249129條3D目標(biāo)框，4902個有效可跟蹤的獨立個體，包含總長度約214900個跟蹤點，6004個用于5D交互事件識別的有效片段以及4900個可以進行5D意圖預(yù)測的目標(biāo)。根據(jù)標(biāo)注場景中交通參與者的密集程度(低和高)和光照條件(白天和晚上)，BLVD包含四種場景。

論文發(fā)表于ICRA2019，BLVD數(shù)據(jù)集已經(jīng)公開，并可在github項目站點:

https://github.com/VCCIV/BLVD/下載。

論文網(wǎng)址參見：https://arxiv.org/abs/1903.06405

在BLVD數(shù)據(jù)集中，定義了三種參與者，包括車輛、行人和騎行者，其中騎行者包括騎自行車的人和摩托車的人。數(shù)據(jù)構(gòu)建由西安交通大學(xué)夸父號無人車采集，采集車上裝載多種傳感器用于周圍感知，包括一個Velodyne HDL-64E三維激光雷達(dá)、一個全球定位系統(tǒng)（GPS）及慣性導(dǎo)航系統(tǒng)、兩個高分辨率多視點相機。值得注意的是，所裝載的所有的傳感器都是自動進行了時鐘同步和對齊。與以往的駕駛場景中的三維目標(biāo)跟蹤、行為理解與分析數(shù)據(jù)集相比，BLVD具有更豐富的場景多樣性。包含不同駕駛場景(城市和高速公路)、多種光照條件(白天和晚上)、多種個體密度。圖1給出了一個典型的簡介，它表示從數(shù)據(jù)集測試的靜態(tài)3D注釋到5D意圖預(yù)測的任務(wù)流程。

圖1 BLVD上5D語義注釋的任務(wù)流示意。(a)表示包含多個靜態(tài)三維目標(biāo)的數(shù)據(jù)幀，(b)展示4D（3D+時間）維度的三維目標(biāo)跟蹤，(c)表示5D交互行為類型，每一個個體都進行了類型標(biāo)注。(d)展示5D意圖預(yù)測示意，包含位置預(yù)測、3D框的幾何結(jié)構(gòu)、朝向和行為交互狀態(tài)預(yù)測。

值得注意的是，BLVD的不同數(shù)據(jù)任務(wù)具有一致的數(shù)據(jù)劃分標(biāo)準(zhǔn)，可以提供從三維目標(biāo)跟蹤、五維度行為交互狀態(tài)識別、五維度意圖預(yù)測任務(wù)的串行多任務(wù)驗證。其中對于五維度行為交互狀態(tài)識別，對于不同的交通參與者，如車輛、行為何騎行者，分別設(shè)定了13種、8種及7種行為狀態(tài)，如圖2所示。

圖2基于車輛坐標(biāo)系的交互行為類型的說明。從上到下依次展示活動車輛、行人和騎手的活動類型。注意，有一個額外的參與者交互行為類型(指“其它”)用于表示其他的交互行為類型。

【結(jié)論】

西安交通大學(xué)人工智能與機器人研究所研究人員為自主駕駛構(gòu)建的大規(guī)模5D語義數(shù)據(jù)集，采集于多種駕駛場景，并能夠高效、準(zhǔn)確地進行校準(zhǔn)、同步和校正。不同于以往的靜態(tài)檢測/分割任務(wù)，他們更注重對交通場景的深入理解。具體來說，本次數(shù)據(jù)標(biāo)注了4D跟蹤、5D交互狀態(tài)識別、5D意向預(yù)測等任務(wù)。在不斷的優(yōu)化完善下，相信這個數(shù)據(jù)集將在機器人和計算機視覺領(lǐng)域非常有用。