劍橋大學(xué)兩位博士創(chuàng)辦的公司使用強(qiáng)化學(xué)習(xí)算法，無需密集標(biāo)注的3D地圖，無需人工設(shè)計(jì)的規(guī)則，讓汽車在短短20分鐘內(nèi)學(xué)會了自動駕駛。公司成立不到50天，已經(jīng)拿到了優(yōu)步首席科學(xué)家的投資。

今天的自動駕駛汽車雖然已經(jīng)性能不錯，但大多數(shù)自動駕駛汽車都使用大量的攝像頭和傳感器、地圖工具和大量的計(jì)算機(jī)程序，比較不完美。

如何讓一輛自動駕駛汽車以最完美的速度上路？有一種做法是增加操作系統(tǒng)的智能而不是傳感器。

劍橋大學(xué)工程系的兩位博士創(chuàng)辦的Wayve團(tuán)隊(duì)使用強(qiáng)化學(xué)習(xí)算法，第一次實(shí)現(xiàn)讓計(jì)算機(jī)學(xué)會像人一樣，通過練習(xí)來完成自動駕駛。該算法與人類安全駕駛員一起教會了汽車如何在“15-20分鐘”的時間內(nèi)保持在一條車道內(nèi)。

Wayve團(tuán)隊(duì)認(rèn)為，自動駕駛需要的是一臺更智能的電腦，而不是更多的傳感器或程序，他們的研究也證明了自己的理論。

DeepMind玩Atari游戲需要數(shù)百萬次試驗(yàn)，但深度強(qiáng)化學(xué)習(xí)讓汽車20分鐘內(nèi)學(xué)會自動駕駛

DeepMind已經(jīng)證明，深度強(qiáng)化學(xué)習(xí)方法可以在許多游戲中實(shí)現(xiàn)超越人類的表現(xiàn)，包括圍棋、象棋和許多電腦游戲，而且?guī)缀蹩偸莿龠^任何基于規(guī)則的系統(tǒng)。

Wayve團(tuán)隊(duì)深得DeepMind和OpenAI經(jīng)常使用的強(qiáng)化學(xué)習(xí)算法精髓，并且巧妙的用在了自動駕駛車上。

為了證明強(qiáng)化學(xué)習(xí)+自動駕駛這種方法可行，Wayve團(tuán)隊(duì)配置了一輛雷諾Twizy，它很簡單，只配備了一個攝像頭和油箱、剎車和轉(zhuǎn)向控制等裝置。算法使用“深度卷積神經(jīng)網(wǎng)絡(luò)”的模型，該模型接收僅使用一個GPU處理的單個圖像的輸入。

在視頻中，最初，汽車就像嬰兒邁出了第一步，步履蹣跚。但當(dāng)汽車開始轉(zhuǎn)向車道外時，一名安全駕駛員介入，重新把車轉(zhuǎn)向車道內(nèi)。算法了解到每次修正行駛過程時都是在糾錯，并根據(jù)它在沒有任何干預(yù)的情況下行進(jìn)了多遠(yuǎn)而得到“獎勵”。

通過這種方式，計(jì)算機(jī)能夠在大約20分鐘內(nèi)學(xué)會如何防止汽車從路上跑偏。在那之后，它可以無限期地行駛下去。

Wayve團(tuán)隊(duì)的這項(xiàng)研究表明，類似的哲學(xué)在現(xiàn)實(shí)世界中也是可能的，特別是在自動駕駛汽車中。而且，DeepMind玩Atari游戲的算法需要數(shù)百萬次試驗(yàn)才能解決一個任務(wù)。而Wayve的團(tuán)隊(duì)在不到20次的試驗(yàn)中就學(xué)會了讓車始終“沿著單行道行駛”。

無需密集標(biāo)注的3D地圖，無需人工設(shè)計(jì)的規(guī)則

大型科技公司做自動駕駛通常采用工程思維方法，即設(shè)計(jì)一種基于規(guī)則的系統(tǒng)，處理每一個邊緣問題，同時使用更多的傳感器，獲取更多的數(shù)據(jù)。這可能會在特定的、狹義的環(huán)境中產(chǎn)生令人鼓舞的結(jié)果，但并不能真正解決自動駕駛問題。

Wayve的團(tuán)隊(duì)是第一個自動駕駛汽車在線學(xué)習(xí)的例子，每一次嘗試都會使它變得更好。那么，具體是怎么做到的呢?

他們給出了技術(shù)細(xì)節(jié)：

他們采用了一種流行的無模型深度強(qiáng)化學(xué)習(xí)算法——深度確定性策略梯度（deep deterministic policy gradients，DDPG）來解決車道跟蹤任務(wù)。模型輸入是來自單目攝像機(jī)的圖像。系統(tǒng)迭代了3個過程：探索，優(yōu)化和評估。

網(wǎng)絡(luò)架構(gòu)是一個深度網(wǎng)絡(luò)，有4個卷積層和3個完全連接層，總共只有不到10k個參數(shù)。相比之下，目前表現(xiàn)最優(yōu)的圖像分類架構(gòu)有數(shù)百萬個參數(shù)。

所有的處理都在汽車的一個圖形處理單元（GPU）上進(jìn)行。

將機(jī)器人放到危險的真實(shí)環(huán)境中工作會帶來很多新問題。為了更好地理解手頭的任務(wù)，找到合適的模型架構(gòu)和超參數(shù)，他們在模擬環(huán)境中進(jìn)行了大量的測試。

上圖是一個例子，從不同角度展示了車輛在模擬環(huán)境中如何沿著道路行駛。該算法僅看到駕駛員的視角，即上圖中間。在每個episode，隨機(jī)生成一條彎曲的車道，以及道路的紋理和車道標(biāo)記。agent一直在探索，直到偏離了車道，此時一個episode結(jié)束。然后根據(jù)搜集到的數(shù)據(jù)進(jìn)行策略優(yōu)化，一直重復(fù)這個過程。

基于任務(wù)的workflow和訓(xùn)練算法的架構(gòu)

團(tuán)隊(duì)使用模擬測試來嘗試不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)和超參數(shù)，直到找到僅需很少的訓(xùn)練次數(shù)（也就是在只有很少數(shù)據(jù)的情況下），始終能解決車道跟蹤任務(wù)的設(shè)置。例如，一個發(fā)現(xiàn)是，使用自動編碼器重建損失來訓(xùn)練卷積層，這大大提高了訓(xùn)練的穩(wěn)定性和數(shù)據(jù)效率。

使用DDPG+VAE，極大地提高了從原始像素進(jìn)行DDPG訓(xùn)練的數(shù)據(jù)效率，這表明在實(shí)際系統(tǒng)上應(yīng)用強(qiáng)化學(xué)習(xí)時，state representation是一個重要的考慮因素。實(shí)驗(yàn)使用的250米行駛路線如右圖所示。

下表是在250米道路上實(shí)現(xiàn)自動駕駛車輛的強(qiáng)化學(xué)習(xí)結(jié)果。

團(tuán)隊(duì)報告了每個模型的最佳性能。他們觀察到baseline RL智能體可以從頭開始學(xué)習(xí)車道跟蹤，但VAE變體更有效率，僅在11次訓(xùn)練后就成功學(xué)會沿著車道駕駛。

想象一下，部署一個自動駕駛汽車的車隊(duì)，一開始自動駕駛算法是人類駕駛員表現(xiàn)的95%。這樣一個系統(tǒng)不會像視頻中隨機(jī)初始化的模型那樣搖搖晃晃，而是幾乎能夠處理交通信號燈、環(huán)形路、十字路口等等各種情況。

經(jīng)過一天的駕駛和人類安全駕駛員接管提供的反饋，系統(tǒng)能夠在線提升，也許能提升到96%。一個星期后，提高到98%；一個月后，達(dá)到人類表現(xiàn)的99%。幾個月后，這個系統(tǒng)的表現(xiàn)可能以及超過了人類，因?yàn)樗軓亩嗝踩{駛員的反饋中獲益。

在20分鐘內(nèi)就學(xué)會了從零開始沿著車道行駛，那么，想象一下，一整天的話可以學(xué)到什么？

兩位劍橋博士創(chuàng)辦，公司成立不到50天已獲優(yōu)步首席科學(xué)家投資

Wayve于今年5月22日剛剛創(chuàng)立，創(chuàng)始人是兩位來自英國劍橋大學(xué)的博士Amar Shah和Alex Kendall。

Wayve團(tuán)隊(duì)現(xiàn)有約10名成員，由來自劍橋大學(xué)和牛津大學(xué)的機(jī)器人、計(jì)算機(jī)視覺和人工智能專家組成，他們之前曾在NASA、谷歌、Facebook、Skydio和微軟等公司工作過。他們專注于利用深度學(xué)習(xí)解決視覺場景理解、不確定環(huán)境中的自主決策等問題。

值得一提的是，劍橋大學(xué)教授、Uber首席科學(xué)家Zoubin Ghahramani是Wayve的投資人之一。

不同于大部分自動駕駛車輛的傳統(tǒng)思維，Wayve團(tuán)隊(duì)號稱要構(gòu)建“端到端的機(jī)器學(xué)習(xí)算法”，將強(qiáng)化學(xué)習(xí)方法用于自動駕駛汽車。他們認(rèn)為制造真正的自動駕駛汽車的關(guān)鍵在于軟件的自學(xué)能力，它需要的是更好的協(xié)調(diào)，這能夠使自主駕駛成為現(xiàn)實(shí)。