研究人員將使用udacity提供的模擬器，模擬車前部配有3個攝像頭，可記錄視頻以及與中央攝像頭對應(yīng)的轉(zhuǎn)向角。

行為克隆的本質(zhì)是克隆了驅(qū)動程序的行為。本文的實驗思路是根據(jù)駕駛員駕駛的訓(xùn)練數(shù)據(jù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN）以模擬駕駛員。

NVIDIA曾發(fā)布了一篇題為End to End Learning for Self-DrivingCars 的文章，他們訓(xùn)練CNN將原始像素從單個前置攝像頭直接映射到轉(zhuǎn)向命令。實驗結(jié)果令人非常震驚，汽車學(xué)會了在有或沒有車道標(biāo)記的地方道路上或者在具有最少量訓(xùn)練數(shù)據(jù)的高速公路上行駛。本次實驗，研究人員將使用udacity提供的模擬器，模擬車前部配有3個攝像頭，可記錄視頻以及與中央攝像頭對應(yīng)的轉(zhuǎn)向角。

收集數(shù)據(jù)

模擬器有2個通道：第一個通道非常容易，曲線較小且很少，第二個通道很難，有許多曲線和陡峭的山坡。

研究人員將使用來自兩個軌道的訓(xùn)練數(shù)據(jù)：

1.研究人員將駕駛兩條車道，將車保持在車道的中心位置。研究人員每人開車2圈。

2.研究人員將在兩條車道上各開一圈，并試圖漂移到兩側(cè)，或試圖轉(zhuǎn)向車道的中心。這將為研究人員提供模型校正的訓(xùn)練數(shù)據(jù)。

圖分別為左、中、右視角

捕獲的數(shù)據(jù)包含左圖像，中心圖像和右圖像的路徑，轉(zhuǎn)向角度，油門，中斷和速度值。

注意：研究人員將使用所有左，中，右圖像。研究人員將通過一些調(diào)整來矯正left_image的轉(zhuǎn)向角度。同樣，研究人員將通過一些調(diào)整來矯正right_image的轉(zhuǎn)向角度。

數(shù)據(jù)不平衡

圖轉(zhuǎn)向角直方圖

上面的直方圖顯示了訓(xùn)練數(shù)據(jù)的不平衡。左轉(zhuǎn)彎的數(shù)據(jù)多于右轉(zhuǎn)彎的數(shù)據(jù)。研究人員將通過隨機(jī)翻轉(zhuǎn)訓(xùn)練圖像并將轉(zhuǎn)向角度調(diào)整為steering_angle來補(bǔ)償這一點。

此外，大多數(shù)轉(zhuǎn)向角集中在0-0.25左右，研究人員沒有太多的數(shù)據(jù)來獲得更大的轉(zhuǎn)向角。研究人員將通過一些像素水平和垂直地隨機(jī)移動圖像并相應(yīng)地調(diào)整轉(zhuǎn)向角來補(bǔ)償這一點。

數(shù)據(jù)擴(kuò)充

研究人員使用以下增補(bǔ)：

1.隨機(jī)翻轉(zhuǎn)一些圖像并將轉(zhuǎn)向角度調(diào)整為steering_angle

2.通過一些像素水平和垂直地隨機(jī)移動圖像，并使用小的調(diào)整因子調(diào)整轉(zhuǎn)向角度。

3.路上有樹木，柱子等陰影。因此，研究人員將為訓(xùn)練圖像添加一些陰影。4.研究人員會隨機(jī)調(diào)整圖像的亮度。

以上這些是標(biāo)準(zhǔn)的OpenCV調(diào)整，代碼可以在GitHub存儲庫中找到。（詳見文末鏈接）

應(yīng)用增強(qiáng)后，下面是一些訓(xùn)練圖像的輸出。

前處理

本文期望圖像的輸入尺寸為66 * 200 * 3，而來自訓(xùn)練的圖像尺寸為160 * 320 * 3。此外，紙張期望將輸入圖像從RGB轉(zhuǎn)換為YUV顏色空間。因此，研究人員將從輸入圖像裁剪上部40像素行和下部20像素行。此外，作為預(yù)處理的一部分，研究人員將裁剪的圖像大小調(diào)整為66 * 200 * 3大小并將其轉(zhuǎn)換為YUV色彩空間。

模型

這是本文中描述的PilotNet模型：

該模型具有以下層：

①標(biāo)準(zhǔn)化層（硬編碼）除以127.5并減去1。

②3個卷積層，24個，36個，48個過濾器，5 * 5內(nèi)核和2個步幅。

③2個卷積層，64個濾波器，3 * 3內(nèi)核和步幅1。

④展平層

⑤3個完全連接的層，輸出尺寸為100,50,10

⑥和輸出轉(zhuǎn)向角的最終輸出層。

研究人員將使用Mean Squared Error（MSE）作為損失函數(shù)和優(yōu)化器，并進(jìn)行EarlyStopping回調(diào)。研究人員試圖訓(xùn)練它40個epoch，它在36個epoch停止。

訓(xùn)練60個epoch的模型，結(jié)果如下：

突出的特點：

1. 在每個圖層中，對要素圖的激活進(jìn)行平均。

2.最平均的地圖按比例放大到下面圖層的地圖大小。使用反卷積完成放大。

3.然后將來自較高級別的放大的地圖與來自下層的平均地圖相乘。

4.重復(fù)步驟2和3直到達(dá)到輸入。

5.具有輸入圖像大小的最后一個掩模被標(biāo)準(zhǔn)化為0.0到1.0的范圍。

以下是可視化圖，顯示輸入圖像的哪些區(qū)域?qū)W(wǎng)絡(luò)的輸出貢獻(xiàn)最大。

在應(yīng)用上述方法之后，下面是顯著的特征結(jié)果：

圖突出的車道標(biāo)記

結(jié)論

PilotNet是一個非常強(qiáng)大的網(wǎng)絡(luò)，從駕駛員學(xué)習(xí)輸出正確的轉(zhuǎn)向角度。對顯著物體的檢查表明，PilotNet學(xué)習(xí)了對人類“有意義”的特征，同時忽略了與駕駛無關(guān)的攝像機(jī)圖像中的結(jié)構(gòu)。此功能源自數(shù)據(jù)，無需手工標(biāo)記。