3月31日，我們?cè)诒本┡e辦了第三期自動(dòng)駕駛公開(kāi)課“Apollo2.0自動(dòng)駕駛平臺(tái)—技術(shù)解析與應(yīng)用”，吸引了300多位來(lái)自車(chē)企、零部件廠商、軟件公司、自動(dòng)駕駛初創(chuàng)企業(yè)的開(kāi)發(fā)者參加。

來(lái)自百度的資深工程師楊凡、萬(wàn)國(guó)偉及Apollo生態(tài)合作伙伴黃英君、李曉飛做了精彩的分享。從Apollo“云+端”開(kāi)發(fā)模式及迭代代碼的解析、到Apollo2.0定位技術(shù)及子模塊功能使用、分布式計(jì)算平臺(tái)解決方案，以及低速自動(dòng)駕駛落地解決方案做了深入淺出的講解和演示。開(kāi)發(fā)者爭(zhēng)相提問(wèn)，現(xiàn)場(chǎng)氣氛非常熱烈。

今天，我們將整理后的公開(kāi)課視頻和資料分享給大家，沒(méi)能到達(dá)現(xiàn)場(chǎng)的開(kāi)發(fā)者可以通過(guò)PPT資料來(lái)詳細(xì)了解課程內(nèi)容。

{ Apollo 2.0 實(shí)戰(zhàn)技術(shù)基礎(chǔ) }

百度自動(dòng)駕駛事業(yè)部資深架構(gòu)師楊凡

非常高興有機(jī)會(huì)跟大家分享百度Apollo“云和端”的研發(fā)模式，接著幫助大家了解Apollo2.0演示方式的實(shí)戰(zhàn)以及車(chē)輛與循跡自動(dòng)駕駛能力的實(shí)戰(zhàn)；之后是本次公開(kāi)課的核心部分，障礙物識(shí)別和路徑規(guī)劃能力的實(shí)戰(zhàn)；在此基礎(chǔ)上介紹云端訓(xùn)練平臺(tái)訓(xùn)練紅綠燈感知能力，這是使用云端算法來(lái)加強(qiáng)自動(dòng)駕駛能力的實(shí)戰(zhàn)；最后簡(jiǎn)要介紹用云端仿真能力來(lái)完成驗(yàn)證實(shí)戰(zhàn)。

現(xiàn)在的AI自動(dòng)駕駛能力來(lái)自云端，所以在云端要采用大量的數(shù)據(jù)，進(jìn)行標(biāo)注和訓(xùn)練。以紅綠燈為例，來(lái)解釋AI的訓(xùn)練過(guò)程。一輛車(chē)在路上行駛，在安全方面嚴(yán)苛的要求，這種要求遠(yuǎn)遠(yuǎn)超過(guò)了對(duì)傳統(tǒng)汽車(chē)一般性的要求。要完成一套自動(dòng)駕駛系統(tǒng)的安全性測(cè)試，如果利用100輛車(chē)，7×24小時(shí)的跑，大概要一百年才能夠測(cè)試完成。所以絕不是依靠真車(chē)來(lái)完成自動(dòng)駕駛測(cè)試的，90%的測(cè)試工作需要在云端，通過(guò)仿真技術(shù)大規(guī)模的驗(yàn)證實(shí)車(chē)能力，才能保證它的安全。

正因?yàn)橐ＷC自動(dòng)駕駛的安全是一件長(zhǎng)期而艱難的事情，是一個(gè)復(fù)雜的系統(tǒng)工程，所以百度自動(dòng)駕駛采取了開(kāi)放策略。百度在自動(dòng)駕駛方面做了長(zhǎng)時(shí)間的探索，做的越久，就越發(fā)敬畏自動(dòng)駕駛和汽車(chē)產(chǎn)業(yè)。一輛車(chē)有上萬(wàn)個(gè)零件組成，自動(dòng)駕駛更不是一個(gè)簡(jiǎn)單的產(chǎn)業(yè)環(huán)節(jié)，而是一個(gè)完整的產(chǎn)業(yè)鏈條，包括主機(jī)廠、零部件、通訊、感知、決策和控制系統(tǒng)等廠商。所以我們認(rèn)為它是一個(gè)生態(tài)，大家在一個(gè)完整的生態(tài)環(huán)境中，找尋自己的位置，合作完成自動(dòng)駕駛系統(tǒng)的開(kāi)發(fā)。

所以百度提出了Apollo開(kāi)放戰(zhàn)略計(jì)劃。百度把多年積累的自動(dòng)駕駛研究成果開(kāi)放給生態(tài)鏈，讓大家可以共享技術(shù)和數(shù)據(jù)，在此基礎(chǔ)上實(shí)現(xiàn)資源共享。使用的越多，分享的越多，大家收獲的越多，在生態(tài)里實(shí)現(xiàn)共贏。

Apollo技術(shù)框架由4層構(gòu)成。分別是：

? Reference Vehicle Platform（參考車(chē)輛平臺(tái)，指一輛能夠受電子信號(hào)控制的車(chē)，我們管它叫線控車(chē)）

? Reference Hardware Platform（參考硬件平臺(tái)，包含計(jì)算單元、GPS/IMU、Camera、激光雷達(dá)、毫米波雷達(dá)、人機(jī)交互設(shè)備、BlackBox等硬件）

? Open Software Platform（開(kāi)放軟件平臺(tái)：包括實(shí)時(shí)操作系統(tǒng)、承載所有模塊的框架層、高精地圖與定位模塊、感知模塊、決策規(guī)劃模塊、控制模塊）

? Cloud Service Platform（云端服務(wù)平臺(tái)：包括高精地圖、模擬駕駛的仿真服務(wù)、數(shù)據(jù)平臺(tái)、安全和OTA服務(wù)等）

Apollo 2.0最新開(kāi)放的模塊包括了Security、Camera、Radar和Black Box，這意味著Apollo平臺(tái)開(kāi)放了云端服務(wù)、服務(wù)平臺(tái)、參考硬件平臺(tái)以及參考車(chē)輛平臺(tái)在內(nèi)的四大模塊。Apollo 2.0新開(kāi)放的安全和OTA升級(jí)服務(wù)，只允許正確和被保護(hù)的數(shù)據(jù)進(jìn)入車(chē)內(nèi)，并進(jìn)一步強(qiáng)化了自定位、感知、規(guī)劃決策和云端方陣等能力。其中Black Box模塊包括了軟件和硬件系統(tǒng)，能夠?qū)崿F(xiàn)安全存儲(chǔ)和大容量數(shù)據(jù)集傳輸，可以幫助我們及時(shí)發(fā)現(xiàn)異常情況，提升整個(gè)平臺(tái)的安全可靠性。

硬件方面，增加兩個(gè)前向攝像頭（長(zhǎng)焦+短焦）主要用于識(shí)別紅綠燈，正前方保險(xiǎn)杠上方新安裝了毫米波雷達(dá)。在Apollo 2.0開(kāi)放了Camera和Radar的模塊后，整個(gè)平臺(tái)具備傳感器融合的初步能力，增強(qiáng)了對(duì)晝夜簡(jiǎn)單城市道路工況的適應(yīng)能力。

在今年的春晚上，百度Apollo開(kāi)放平臺(tái)率百余輛車(chē)隊(duì)上了港珠澳大橋，并在自動(dòng)駕駛模式下完成“8”字交叉跑的高難度動(dòng)作。

那么如何在短時(shí)間內(nèi)完成在大橋的自動(dòng)駕駛demo的適配？先看一下Apollo的目錄結(jié)構(gòu)，里面有Docs、Modules、Scripts等子目錄。Modules是Apollo所有模塊的位置；Scripts包括一些常用的操作工具腳本；Third-party涉及到一些官方庫(kù)，Tools則包含一些工具。

在Modules中，可以看到Apollo的各個(gè)主要模塊。

Apollo采用base class和class factory架構(gòu)，具有新模塊、新功能的拓展能力。每一個(gè)開(kāi)發(fā)者或者生態(tài)合作伙伴都可以很容易的把自己的部分添加到Apollo的框架里，從而得到有特色的自動(dòng)駕駛能力。

主要模塊之間的關(guān)系如下圖所示：

由HD-Map支持的Localization模塊產(chǎn)生地圖和定位信息，整個(gè)系統(tǒng)都高精地圖和定位信息為基礎(chǔ)；以此為基礎(chǔ)，對(duì)周邊環(huán)境感知，障礙物的感知；與地圖結(jié)合可以做紅綠燈識(shí)別感知；預(yù)測(cè)模塊基于感知結(jié)果做障礙物的行為預(yù)測(cè)；Planning模塊根據(jù)障礙物預(yù)測(cè)的結(jié)果和Routing模塊的信息做路徑和速度的Trajectory決策規(guī)劃；Control模塊根據(jù)Planning的結(jié)果通過(guò)CANBUS模塊控制車(chē)輛行駛。

Apollo系統(tǒng)是基于ROS平臺(tái)的。ROS是大家在機(jī)器人領(lǐng)域非常熟悉的平臺(tái)，百度和ROS達(dá)成了深入合作來(lái)降低開(kāi)發(fā)者的門(mén)檻。ROS的特點(diǎn)主要包括完整的開(kāi)發(fā)工具包，完整的計(jì)算調(diào)度模型，還有眾多的調(diào)試工具以及已有的軟件系統(tǒng)等。為了增強(qiáng)ROS在自動(dòng)駕駛方面的能力，Apollo做了多項(xiàng)定制優(yōu)化，如果在真實(shí)車(chē)輛上測(cè)試自動(dòng)駕駛，建議開(kāi)發(fā)者使用Apollo平臺(tái)提供的ROS版本。

ROS的通信是基于ROS Topic的，Apollo主要的ROS Topic如圖所示。開(kāi)發(fā)者可以使用ROS原生工具查看調(diào)試Apollo。

有了這些基礎(chǔ)以后，如何一步一步構(gòu)建自動(dòng)駕駛？

我們先演示一下沒(méi)有實(shí)際整車(chē)條件下，也可以了解和驗(yàn)證Apollo的離線演示方式。

至此，就可以在瀏覽器上看到Apollo的DreamView演示。

車(chē)輛與循跡駕駛能力實(shí)戰(zhàn)

接下來(lái)介紹車(chē)輛與循跡駕駛能力實(shí)戰(zhàn)，這個(gè)步驟可以驗(yàn)證線控車(chē)和軟硬件集成的基礎(chǔ)能力。如上圖虛線框中所示，車(chē)輛循跡主要依靠的就是定位能力和控制能力。

如我們Apollo架構(gòu)中介紹的，車(chē)輛平臺(tái)需要由車(chē)廠來(lái)完成線控改裝。在車(chē)輛平臺(tái)上需要完成硬件設(shè)備的安裝以及工控機(jī)配置，具體的安裝方式可見(jiàn)Apollo的安裝指南。在車(chē)輛和硬件平臺(tái)之上，Apollo提供相應(yīng)的軟件能力支持，比如制動(dòng)、動(dòng)力、轉(zhuǎn)向控制以及一些信息交互。

（建議在Wi-Fi環(huán)境下觀看）

開(kāi)發(fā)者可以通過(guò)Vehicle接口來(lái)增加自己的車(chē)輛，參見(jiàn)：

【https://github.com/ApolloAuto/apollo/blob/master/docs/howto/how_to_add_a_new_vehicle.md】

? 實(shí)現(xiàn)新車(chē)控制器

? 實(shí)現(xiàn)新消息管理器

? 在工廠類中注冊(cè)新車(chē)

? 更新配置文件：canbus/conf/canbus_conf.pb.txt

CANCard也有很多要求，對(duì)小車(chē)大車(chē)的控制是不一樣的，需要不同的算法。整體模塊具有可插拔、可靈活配置擴(kuò)展的特性。

? 實(shí)現(xiàn)新CAN卡類CanClient

? 在工廠類CanClientFactory中注冊(cè)新CAN卡

? 更新配置文件：canbus/proto/can_card_parameter.proto

接下來(lái)創(chuàng)建一個(gè)控制器，在control_config文件中為新控制器添加配置，注冊(cè)新控制器。

在車(chē)輛的基礎(chǔ)上，Apollo提供高精度的定位能力，主要是通過(guò)多個(gè)傳感器的融合定位保證高精度。我們會(huì)有另外一個(gè)專題講定位技術(shù)，這里就不多講了。

之后通過(guò)GPS Receiver接口增加車(chē)輛：

· 繼承Parse類，實(shí)現(xiàn)新GPS接收機(jī)的數(shù)據(jù)解析

· 在Parse類為新GPS接收機(jī)增加新接口

· 在配置文件config.proto，增加新GPS接收機(jī)的數(shù)據(jù)格式

· 為data_parser.cpp中方法 create_parser，增加新接收機(jī)的實(shí)現(xiàn)邏輯

以上這些都準(zhǔn)備好后，就開(kāi)始做循跡自動(dòng)駕駛。首先是錄制，在Dreamview中的目錄Quick Record下，單擊Setup以啟動(dòng)所有模塊并執(zhí)行硬件運(yùn)行狀況檢查。如果硬件健康檢查通過(guò)，單擊 Start 按鈕開(kāi)始記錄驅(qū)動(dòng)程序軌跡。到達(dá)目的地后，點(diǎn)擊Stop 按鈕停止錄制。

其次是執(zhí)行，在Quick Play下，單擊 Setup 啟動(dòng)所有模塊并執(zhí)行硬件運(yùn)行狀況檢查。要確保駕駛員準(zhǔn)備好了！點(diǎn)擊 Start按鈕開(kāi)始自動(dòng)駕駛。到達(dá)目的地后，點(diǎn)擊 Stop 按鈕停止重放錄制的軌跡。

（Apollo 1.0演示）

在這一系列工作完成后，就完成了Apollo 1.0的自動(dòng)駕駛能力?？梢钥吹剑?jīng)過(guò)高精定位能力的輸出，循跡自動(dòng)駕駛可以完成非常精準(zhǔn)的動(dòng)作，兩車(chē)可以非常精準(zhǔn)的交錯(cuò)行駛。

障礙物感知和路徑規(guī)劃能力實(shí)戰(zhàn)

在Apollo 2.0里面提供了什么樣的自動(dòng)駕駛能力? 如上圖虛線框所示，在定位和控制的基礎(chǔ)上，添加了感知和決策規(guī)劃控制，這樣就可以完成車(chē)輛的自動(dòng)駕駛閉環(huán)。

主流的傳感器包括攝像頭、雷達(dá)和激光雷達(dá)。每一種傳感器都是既有長(zhǎng)處也有短板。例如攝像頭對(duì)于障礙物分類有很好的表現(xiàn)，但想對(duì)障礙物速度做準(zhǔn)確判斷，攝像頭就很難做到了。

對(duì)于雷達(dá)(Radar)來(lái)說(shuō)，在距離和速度判斷上有優(yōu)勢(shì)，穿透力非常好，但對(duì)于障礙物的分類能力，就比較弱了。

激光雷達(dá)通過(guò)主動(dòng)發(fā)射能量，依靠回波來(lái)檢測(cè)，所以對(duì)于判斷障礙物的遠(yuǎn)近，例如暗光條件下障礙物的狀態(tài)有優(yōu)勢(shì)。但是激光雷達(dá)目前還非常昂貴。

所以，我們要把這些傳感器融合在一起，發(fā)揮各自所長(zhǎng)。

當(dāng)使用多個(gè)傳感器的時(shí)候會(huì)碰到標(biāo)定問(wèn)題。由于傳感器都是高精傳感器，安裝操作很難做到特別精準(zhǔn)。為了有效使用多個(gè)傳感器，我們需要對(duì)車(chē)輛上的傳感器完成標(biāo)定。因?yàn)槲覀冊(cè)谲?chē)輛安裝時(shí)，很難把安裝做到極精密，通過(guò)標(biāo)定就可以知道安裝的具體誤差，然后通過(guò)計(jì)算來(lái)補(bǔ)償。

LiDAR GNSS標(biāo)定參考：

? 啟動(dòng)64線激光雷達(dá)以及組合慣導(dǎo)系統(tǒng)。Novatel組合慣導(dǎo)初次上電時(shí)需要校準(zhǔn)。此時(shí)應(yīng)將車(chē)在開(kāi)闊地帶進(jìn)行直行、左右轉(zhuǎn)彎等操作，直至慣導(dǎo)初始化完成。

? 確認(rèn)傳感器數(shù)據(jù)的topic均有輸出。

? 標(biāo)定的地點(diǎn)需要選擇無(wú)高樓遮擋、地面平坦、四周有平整的建筑物并且可以進(jìn)行8字軌跡行駛的地方。

? 程序會(huì)檢測(cè)所錄制的bag中是否含有所需的所有topics。檢測(cè)通過(guò)后，會(huì)將bag打包成 lidar_calib_data.tar.gz 文件，內(nèi)容包括錄制的rosbag以及對(duì)應(yīng)的MD5校驗(yàn)和文件。

【 https://console.bce.baidu.com/apollo/calibrator/index/list】

? 其他標(biāo)定請(qǐng)參考：

【https://github.com/ApolloAuto/apollo/blob/master/docs/quickstart/apollo_2_0_sensor_calibration_guide_cn.md】

裝好傳感器以后要有感知系統(tǒng)，而感知又分很多種，如：障礙物識(shí)別、障礙物分類、語(yǔ)義分割、目標(biāo)跟蹤，我們是怎么做的呢？

在Apollo中，我們以3D障礙物檢測(cè)為例，介紹感知的流程。

基于LiDAR的3D障礙物感知，其好處是可以不分晝夜并連續(xù)檢測(cè)；我們?cè)诳蚣苤惺褂?a target="_blank">深度學(xué)習(xí)，這樣就可以很精準(zhǔn)識(shí)別一些傳統(tǒng)規(guī)則并解決很多疑難問(wèn)題；我們使用了NVIDIA GPU，這樣可以把巨大運(yùn)算負(fù)載放在GPU上完成，從而高效率的進(jìn)行感知處理。

為了識(shí)別一個(gè)障礙物，主要步驟是通過(guò)高精地圖配置一個(gè)ROI過(guò)濾器，過(guò)濾出我們認(rèn)為有效的數(shù)據(jù)；接著把特征值計(jì)算出來(lái)，通過(guò)CNN來(lái)完成每個(gè)區(qū)域的Segmentation，這樣就可以有效地識(shí)別出物體；通過(guò)MinBox，完成障礙物邊框構(gòu)建；最后通過(guò)HM對(duì)象跟蹤就可以感知到障礙物的軌跡，計(jì)算速度。

做三維檢測(cè)的時(shí)候需要處理激光點(diǎn)云，根據(jù)高精地圖把我們感興趣的部分過(guò)濾出來(lái)，激光點(diǎn)云做特征化后，導(dǎo)入CNN網(wǎng)絡(luò)，通過(guò)邊緣識(shí)別合成一個(gè)一個(gè)物體，最后就可以把物體在坐標(biāo)系中表達(dá)出來(lái)。通過(guò)把不同幀上的物體串聯(lián)在一起，可以完成對(duì)物體的追蹤。有了不同幀上的物體軌跡，就可以知道它的位置，它的速度是多少。

在Apollo上有Lidar的檢測(cè)，有毫米波的檢測(cè)，還有基于圖像的紅綠燈的識(shí)別，這些東西如何融合到一起？多傳感器融合，依賴于Perception fusion DAG框架。如上圖所示，通過(guò)構(gòu)造算法subnode，并且通過(guò)DAG描述連接到一起，開(kāi)發(fā)者就可以完成定制的多傳感器感知和融合。

如何規(guī)劃一條有效的路徑來(lái)自動(dòng)駕駛？以EM為例，如下圖所示，Planning Structure由ReferenceLine、HD-Map 、EM Planner的幾部分構(gòu)成。

通過(guò)DP路徑算法，得到成本最低的可調(diào)路徑。

我們將求解過(guò)程離散化。好處是：受道路中心線影響低；成本函數(shù)形式不單一，適應(yīng)復(fù)雜路況；天然適合并行化。解決了decision 的基于規(guī)則優(yōu)化的痛點(diǎn)。另一方面，這一步DP算法的結(jié)果，但并不完美，不是最優(yōu)解，銜接點(diǎn)處形式固定，即使平滑但路線較為僵硬，復(fù)雜情況處理不夠平滑。

如上圖，通過(guò)一樣的DP邏輯，我們可以完成s,t坐標(biāo)系下的DP規(guī)劃。在此基礎(chǔ)上，進(jìn)一步做QP優(yōu)化和迭代調(diào)整，就可以得到有效的Planning結(jié)果。

最后創(chuàng)建一個(gè)Planner：將新的Planner配置添加到modules/planning/conf/planning_config.pb.txt文件中；在module/planning/planning.cc中注冊(cè)新的Planner。

“云+端”研發(fā)迭代新模式 Cloud + Vehicles

從上面的自動(dòng)駕駛開(kāi)發(fā)過(guò)程可以看到，百度Apollo采用了“云+端”研發(fā)迭代新模式，加速自動(dòng)駕駛汽車(chē)研發(fā)效率。百度在自動(dòng)駕駛研發(fā)中積累海量的數(shù)據(jù)，把這些積累的數(shù)據(jù)用云端的服務(wù)器集群高效地生成人工智能的模型，也就是車(chē)輛大腦。把汽車(chē)大腦更新到車(chē)輛上，車(chē)輛就被賦予了自動(dòng)駕駛的能力。

自動(dòng)駕駛數(shù)據(jù)可以分為四大類：

自動(dòng)駕駛車(chē)輛產(chǎn)生的數(shù)據(jù)首先是原始數(shù)據(jù)，主要是傳感器數(shù)據(jù)、車(chē)輛自身數(shù)據(jù)、駕駛行為數(shù)據(jù)等。這些數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)量極大、類型多樣、以非結(jié)構(gòu)化半結(jié)構(gòu)化數(shù)據(jù)為主。無(wú)論對(duì)存儲(chǔ)、傳輸、處理都構(gòu)成比較大的挑戰(zhàn)。

數(shù)據(jù)平臺(tái)是百度支撐智能汽車(chē)的“云+端”研發(fā)迭代新模式的核心平臺(tái)。由數(shù)據(jù)采集與傳輸，自動(dòng)駕駛數(shù)據(jù)倉(cāng)庫(kù)，自動(dòng)駕駛計(jì)算平臺(tái)三個(gè)部分構(gòu)成。首先是數(shù)據(jù)采集與傳輸部分。使用Data-Recorder會(huì)按Apollo數(shù)據(jù)規(guī)范產(chǎn)生，完整的、精確記錄的數(shù)據(jù)包，可以完成問(wèn)題復(fù)現(xiàn)，也同時(shí)完成數(shù)據(jù)積累。通過(guò)傳輸接口，可以將數(shù)據(jù)高效地傳輸?shù)竭\(yùn)營(yíng)點(diǎn)和云集群中。

接著是自動(dòng)駕駛數(shù)據(jù)倉(cāng)庫(kù)部分，會(huì)將全部海量數(shù)據(jù)成體系地組織在一起，快速搜索，靈活使用，為數(shù)據(jù)流水線和各業(yè)務(wù)應(yīng)用提供數(shù)據(jù)支撐。

自動(dòng)駕駛計(jì)算平臺(tái)部分，基于云資源異構(gòu)計(jì)算硬件提供超強(qiáng)算力，通過(guò)細(xì)粒度容器調(diào)度提供多種計(jì)算模型，來(lái)支撐起各業(yè)務(wù)應(yīng)用。如訓(xùn)練平臺(tái)、仿真平臺(tái)、車(chē)輛標(biāo)定平臺(tái)等等。

為了在深度學(xué)習(xí)中使用數(shù)據(jù)，還需要大量標(biāo)注數(shù)據(jù)。百度標(biāo)記數(shù)據(jù)集中，主要有紅綠燈數(shù)據(jù)集，障礙物數(shù)據(jù)集（2D、3D），語(yǔ)義分割數(shù)據(jù)集，自由空間數(shù)據(jù)集，行為預(yù)測(cè)數(shù)據(jù)集等等。

為了刻畫(huà)自動(dòng)駕駛行為，還需要將數(shù)據(jù)抽象成邏輯數(shù)據(jù)。主要是完美感知數(shù)據(jù)，環(huán)境抽象數(shù)據(jù)，車(chē)輛動(dòng)力學(xué)模型等。

最后，我們還為仿真構(gòu)建仿真數(shù)據(jù)，主要是參數(shù)模糊化數(shù)據(jù)，三維重建數(shù)據(jù)，互動(dòng)行為數(shù)據(jù)等。

Apollo開(kāi)放了6個(gè)標(biāo)注數(shù)據(jù)集：

? 激光點(diǎn)云障礙物檢測(cè)分類

提供三維點(diǎn)云標(biāo)注數(shù)據(jù)，標(biāo)注四類障礙物：行人、機(jī)動(dòng)車(chē)、非機(jī)動(dòng)車(chē)及其他，可用于障礙物檢測(cè)和分類算法的研發(fā)和評(píng)測(cè)。

? 紅綠燈檢測(cè)

提供了常見(jiàn)豎式紅綠燈的圖像數(shù)據(jù)。采集時(shí)段為白天，采集天氣覆蓋晴天、陰天和霧天，分辨率為1080P。

? Road Hackers

本數(shù)據(jù)集有兩種主要類型數(shù)據(jù)，街景圖像和車(chē)輛運(yùn)動(dòng)狀態(tài)。街景圖像提供車(chē)前圖像，車(chē)輛運(yùn)動(dòng)狀態(tài)數(shù)據(jù)則包括車(chē)輛的當(dāng)前速度和軌跡曲率。

? 基于圖像的障礙物檢測(cè)分類

數(shù)據(jù)采集涵蓋城市道路和高速場(chǎng)景，由人工標(biāo)注出四大類障礙物：機(jī)動(dòng)車(chē)、非機(jī)動(dòng)車(chē)、行人及靜態(tài)障礙物，可用于視覺(jué)障礙物檢測(cè)識(shí)別算法的研發(fā)和評(píng)測(cè)。

? 障礙物軌跡預(yù)測(cè)

采樣數(shù)據(jù)來(lái)源于多源傳感器的綜合抽象特征，每組數(shù)據(jù)提供62維車(chē)輛和道路相關(guān)信息，可用于障礙物行為預(yù)測(cè)算法的研發(fā)和評(píng)測(cè)。

? 場(chǎng)景解析

數(shù)據(jù)包括了上萬(wàn)幀的高分辨率RGB視頻和與其對(duì)應(yīng)的逐像素語(yǔ)義標(biāo)注，同時(shí)，提供了具有語(yǔ)義分割測(cè)量級(jí)別的稠密點(diǎn)云、緊急情況的立體視頻以及立體全景圖像。

此外，我們還開(kāi)放了ApolloScape數(shù)據(jù)集，目前規(guī)劃到20萬(wàn)幀級(jí)別，在3月8日已經(jīng)開(kāi)放了第一批，有8萬(wàn)幀的數(shù)據(jù)集，是用相機(jī)以及激光雷達(dá)掃描的場(chǎng)景。

ApolloScape對(duì)整個(gè)學(xué)術(shù)界都會(huì)有比較大的幫助，已經(jīng)公開(kāi)的數(shù)據(jù)中無(wú)論是數(shù)據(jù)本身還是質(zhì)量都有一些特色。我們還跟會(huì)在近期發(fā)布一些，希望大家也能參與到整個(gè)算法中來(lái)?！緮?shù)據(jù)集下載：請(qǐng)?jiān)L問(wèn)http://apolloscape.auto】

我們還通過(guò)Apollo訓(xùn)練平臺(tái)為每一個(gè)數(shù)據(jù)集提供類配套的計(jì)算能力。訓(xùn)練平臺(tái)的特色是：通過(guò)Docker+GPU集群，提供與車(chē)端的一致硬件計(jì)算能力。集成多種框架，提供完整的深度學(xué)習(xí)解決方案。通過(guò)交互式可視化結(jié)果分析，方便算法調(diào)試優(yōu)化。

在自動(dòng)駕駛的算法開(kāi)發(fā)中，最大的痛點(diǎn)之一就是需要對(duì)海量數(shù)據(jù)集，反復(fù)嘗試。通過(guò)將深度學(xué)習(xí)算法的研發(fā)流程(開(kāi)發(fā)、訓(xùn)練、驗(yàn)證、調(diào)試)在云端實(shí)現(xiàn)，可以在充分利用云端大量計(jì)算資源的同時(shí)，將數(shù)據(jù)的流動(dòng)僅在云端的服務(wù)器內(nèi)完成，從而大幅提高算法研發(fā)效率。具體來(lái)說(shuō)，首先開(kāi)發(fā)者在本地開(kāi)發(fā)機(jī)中基于Docker開(kāi)發(fā)算法，并部署依賴環(huán)境。接著將開(kāi)發(fā)好的環(huán)境推到云端的私有Docker Repository中。

接下來(lái)在平臺(tái)上挑選數(shù)據(jù)集，發(fā)起訓(xùn)練任務(wù)。Apollo訓(xùn)練平臺(tái)的云計(jì)算調(diào)度就會(huì)將任務(wù)調(diào)度到計(jì)算集群上執(zhí)行。這個(gè)過(guò)程中，在云集群的內(nèi)部，開(kāi)發(fā)者的程序使用數(shù)據(jù)獲取接口，獲得自動(dòng)駕駛數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)集。最終由業(yè)務(wù)管理框架將執(zhí)行過(guò)程、評(píng)估的結(jié)果和Model返回給可視化平臺(tái)，完成可視化的調(diào)試。

在云上訓(xùn)練出來(lái)算法，然后可以把算法運(yùn)用到車(chē)上來(lái)，這相當(dāng)于有無(wú)數(shù)輛車(chē)來(lái)跑，無(wú)數(shù)輛車(chē)在驗(yàn)證和優(yōu)化算法。因?yàn)樵朴袔资f(wàn)臺(tái)服務(wù)器，可支持眾多車(chē)輛的驗(yàn)證。

同時(shí)在Apollo開(kāi)放平臺(tái)也有仿真器。這是一個(gè)紅綠燈檢測(cè)的DEMO算法。SSD: Single Shot MultiBox Detector

【https://arxiv.org/abs/1512.02325】

【https://github.com/weiliu89/caffe/tree/ssd】

每個(gè)朋友都可以上去注冊(cè)一個(gè)帳號(hào)來(lái)體驗(yàn)整個(gè)流程，有各種各樣的場(chǎng)景，可以看到自己的模型和代碼在仿真器里跑起來(lái)?？梢钥吹郊词乖谙掠甑臓顩r下，紅綠燈的識(shí)別也很好。