日前，特斯拉CEO馬斯克在其個(gè)人賬號(hào)上直播測試了特斯拉最新版本的FSD自動(dòng)駕駛系統(tǒng)，此次直播并未經(jīng)過任何的剪輯處理，并為觀眾們帶來了更加詳細(xì)的講解。

　　最新版本的FSD系統(tǒng)不再依賴于傳統(tǒng)的高精地圖和導(dǎo)航數(shù)據(jù)，而是完全依靠車載攝像頭和神經(jīng)網(wǎng)絡(luò)來識(shí)別道路和交通情況，并做出相應(yīng)的決策。

　　在駕駛過程中，馬斯克提到，特斯拉的工程師沒有為減速帶、停車標(biāo)志或環(huán)形交叉路口編寫程序。但是車輛仍然能夠很好地處理這些情況。通過使用視頻對(duì)系統(tǒng)進(jìn)行訓(xùn)練，讓車輛自主學(xué)習(xí)。

　　從此次的直播來看，車輛整體表現(xiàn)還算優(yōu)秀，但是在一個(gè)紅路燈路口，特斯拉在綠燈時(shí)并沒有按照路線左轉(zhuǎn)，所以馬斯克不得不對(duì)車輛進(jìn)行了接管。不過，雖然此次自動(dòng)駕駛還是令人印象深刻。

　　當(dāng)時(shí)，想要直行的車輛在路口已經(jīng)等了很久紅燈，而在對(duì)面信號(hào)燈剛剛轉(zhuǎn)為左轉(zhuǎn)狀態(tài)時(shí)，Model S竟突然跟著啟動(dòng)。

　　不過馬斯克和旁坐的工程師反應(yīng)迅速，連忙干預(yù)制止。

　　有意思的是，馬斯克此次測試的地點(diǎn)，正是馬克·扎克伯格的豪宅所在地，在直播的過程中，馬斯克還調(diào)侃道，“如果我們會(huì)遇到扎克伯格，我們可以挑戰(zhàn)一下，打一架，讓氣氛變得更有趣”。

　　其實(shí)挺驚訝對(duì)這次demo的評(píng)價(jià)目前看來還是比較負(fù)面的，從消費(fèi)者角度其實(shí)這可以理解，畢竟19min就接管一次，還是闖紅燈這種極其普遍的駕駛場景中的致命錯(cuò)誤，不過要知道這并非發(fā)布的用戶版本，而是研發(fā)內(nèi)測的Alpha版本，說一個(gè)研發(fā)版本不夠完善穩(wěn)定我個(gè)人感覺是有點(diǎn)吹毛求疵了。作為技術(shù)從業(yè)者，我們更應(yīng)該從更加技術(shù)的角度去看待FSD Version 12的這次demo，我個(gè)人認(rèn)為這次demo給我?guī)淼臎_擊和引起的思考是比較大的，甚至不輸于以往的幾次AI Day和Autonomous Day。

　　首先要知道為什么大家對(duì)V12如此感興趣。原因是老馬在今年5月份就爆了一劑猛料，F(xiàn)SD V12會(huì)徹底轉(zhuǎn)向端到端的自動(dòng)駕駛技術(shù)方案，并且他還說V12會(huì)令FSD走出Beta階段徹底成為一個(gè)正式版的產(chǎn)品，這個(gè)消息的噱頭有多大呢，我感覺吧其實(shí)不輸于2020年公布FSD Beta將于當(dāng)年10月發(fā)布，畢竟端到端的自動(dòng)駕駛長期以來一直局限于學(xué)術(shù)研究中，Tesla之前唯二的先行者Comma僅僅只能進(jìn)行高速方面的簡單駕駛動(dòng)作，Wayve則局限于英國少數(shù)地區(qū)的內(nèi)部測試，而要知道FSD可是在廣大的北美大陸可以任意開啟的，這需要端到端系統(tǒng)體現(xiàn)的泛化性可以說和前兩者相比要高出一個(gè)層級(jí)。

　　老馬5月宣布Version12將轉(zhuǎn)為端到端系統(tǒng)的Twitter（X）

　　業(yè)內(nèi)普遍共識(shí)，端到端的自動(dòng)駕駛系統(tǒng)理論上有比現(xiàn)今模塊化的自動(dòng)駕駛系統(tǒng)更高的能力上限，那么端到端系統(tǒng)為什么并沒有成為業(yè)界主流呢？原因是端到端系統(tǒng)在提高模型上限的同時(shí)也無限放大了神經(jīng)網(wǎng)絡(luò)黑盒的不可解釋的問題，而不可解釋性會(huì)給研發(fā)迭代和問題解決造成巨大的負(fù)面影響，同時(shí)業(yè)界也沒有端到端系統(tǒng)的成功先例，對(duì)于這種處于前沿科技無人區(qū)的技術(shù)方案絕大多數(shù)公司是沒有勇氣和實(shí)力敢為天下先的。

　　那作為端到端的V12首次公開亮相，我認(rèn)為這次demo是毫無疑問的成功的，甚至是驚艷的，我的理由主要有以下三點(diǎn)：

　　1. 本次Demo展現(xiàn)了FSD V12端到端系統(tǒng)的成熟度

　　很多國內(nèi)外的網(wǎng)友質(zhì)疑這次Demo的路況場景都十分簡單，Palo Alto的交通即使在下班高峰看起來也遠(yuǎn)遠(yuǎn)比不了國內(nèi)大城市道路的擁擠繁雜，在這種情況下甚至還有一次嚴(yán)重問題接管，其實(shí)算不上優(yōu)秀，對(duì)于這個(gè)觀點(diǎn)我其實(shí)很認(rèn)同。然而作為自動(dòng)駕駛的算法從業(yè)者，我對(duì)于這次demo的關(guān)注點(diǎn)其實(shí)不在場景的困難程度，因?yàn)槔碚撋隙说蕉说南到y(tǒng)自然比基于規(guī)則和搜索的現(xiàn)今主流自動(dòng)駕駛系統(tǒng)上限高很多，其核心問題在于下限可能很低。

　　端到端系統(tǒng)起步慢但上限高

　　今年CVPR 小鵬的Patrick有這樣一個(gè)圖表很好的說明了端到端系統(tǒng)的特性，可以看到端到端的系統(tǒng)最大問題在于模型能力起步較慢，同時(shí)黑盒不可解釋不可控的性質(zhì)會(huì)導(dǎo)致系統(tǒng)雖然能夠處理復(fù)雜場景，但是簡單場景很可能相比目前主流系統(tǒng)會(huì)產(chǎn)生退步，甚至是犯很多“弱智”的錯(cuò)誤，同時(shí)因?yàn)闃I(yè)界缺乏端到端系統(tǒng)的工程實(shí)踐經(jīng)驗(yàn)，一些看似簡單的fix無法通過增加規(guī)則代碼迅速解決，因此嘗試端端到端的方案大多數(shù)時(shí)候可能會(huì)是死在起跑線。實(shí)際上我甚至認(rèn)為如果哪家公司能夠利用端到端的新技術(shù)架構(gòu)來獲得一個(gè)功能穩(wěn)定性匹敵現(xiàn)有技術(shù)架構(gòu)的自動(dòng)駕駛系統(tǒng)，那么基本可以證明端到端系統(tǒng)是未來方向，因?yàn)槔碚撋隙说蕉讼到y(tǒng)在達(dá)到現(xiàn)有技術(shù)水平的那個(gè)時(shí)間點(diǎn)之后會(huì)很快繼續(xù)提高水平將現(xiàn)有技術(shù)棧甩在身后，所以上圖紅藍(lán)線交叉的點(diǎn)我認(rèn)為可以稱作端到端系統(tǒng)正收益的爆發(fā)點(diǎn)，一旦達(dá)到這一點(diǎn)基本上主流的技術(shù)范式就會(huì)被顛覆。

　　所以考慮到Tesla V12應(yīng)該研發(fā)時(shí)間不長，我對(duì)于V12首秀能在隨機(jī)選取的測試路線上在眾多基礎(chǔ)的轉(zhuǎn)彎，變道，環(huán)島，與行人交互等場景表現(xiàn)十分穩(wěn)定平順其實(shí)是非常驚訝的，而FSD V12的這次初次亮相部分說明了Tesla已經(jīng)比較接近這個(gè)爆發(fā)點(diǎn)了，而這是我認(rèn)為本次Demo傳遞的十分重要的信號(hào)。

　　2. 透漏了Tesla端到端自動(dòng)駕駛的一些重要的思路，理念和實(shí)踐經(jīng)驗(yàn)

　　這次Demo另一個(gè)關(guān)鍵意義在于，通過Demo的一些細(xì)節(jié)以及直播過程中老馬和Ashok的聊天透漏了很多Tesla對(duì)于端到端系統(tǒng)的實(shí)操經(jīng)驗(yàn)和理解，而在端到端系統(tǒng)嚴(yán)重缺乏行業(yè)最佳實(shí)踐的現(xiàn)在，這毫無疑問是對(duì)技術(shù)從業(yè)者具有啟發(fā)意義的。比如說很多人以為端到端是一個(gè)中間完全不透明的黑盒，但是實(shí)際上目前大多數(shù)比較深入的端到端實(shí)踐都表明保持端到端系統(tǒng)中間結(jié)果的可解釋性是很重要的。今年CVPR Best Paper UniAD就設(shè)計(jì)了一個(gè)端到端可導(dǎo)但是保留了中間子網(wǎng)絡(luò)輸出的端到端系統(tǒng)，而從直播中可以發(fā)現(xiàn)V12幾乎完整的保留了當(dāng)前FSD的感知結(jié)果輸出，很顯然至少在目前階段Tesla的端到端技術(shù)方案也是保留中間功能子網(wǎng)絡(luò)的路徑。那這個(gè)方案和普通的模塊化方案有什么區(qū)別呢？其實(shí)重要區(qū)別在于各模塊都去除了基于規(guī)則的代碼，使得整個(gè)系統(tǒng)端到端可導(dǎo)，這使得整個(gè)系統(tǒng)作為一個(gè)整體直接對(duì)于駕駛動(dòng)作進(jìn)行訓(xùn)練優(yōu)化成為可能。而傳統(tǒng)的自動(dòng)駕駛架構(gòu)由于模塊化以及并非端到端可導(dǎo)，使得各個(gè)功能模塊只能通過各自訓(xùn)練優(yōu)化自己的任務(wù)，最終結(jié)果是多個(gè)局部最優(yōu)無法實(shí)現(xiàn)整個(gè)系統(tǒng)的全局最優(yōu)。

　　CVPR 2023 Best Paper UniAD保留了整個(gè)系統(tǒng)中間的各個(gè)功能網(wǎng)絡(luò)

　　V12幾乎保留了全部的FSD感知結(jié)果可視化效果，但是似乎沒有紅綠燈可視化

　　這樣的方案其實(shí)比較好理解，保留中間結(jié)果相當(dāng)于通過人類先驗(yàn)知識(shí)把人類覺得有用的駕駛概念提取出來，給到端到端下游網(wǎng)絡(luò)，同時(shí)給到網(wǎng)絡(luò)的還有可能包括更加前端基礎(chǔ)的輸入，由下游決策規(guī)劃網(wǎng)絡(luò)自由選擇使用哪些信息進(jìn)行判斷，這樣的技術(shù)方案通過人類先驗(yàn)加快了端到端系統(tǒng)訓(xùn)練時(shí)性能起步速度，但是又保留了原始信息直接輸入下游，減少了傳統(tǒng)模塊話系統(tǒng)中間輸輸出導(dǎo)致的信息損失。同時(shí)對(duì)中間結(jié)果進(jìn)行分析也有助于確定系統(tǒng)犯錯(cuò)時(shí)問題的原因，提高解決問題的效率。

　　另外馬斯克和Ashok在聊天過程中反復(fù)強(qiáng)調(diào)V12沒有顯式的把車道線，環(huán)島，減速帶等概念的處理辦法灌輸給系統(tǒng)，對(duì)于這點(diǎn)我的理解是V12并不是沒有檢測這些內(nèi)容，而是在規(guī)控網(wǎng)絡(luò)中沒有顯式的添加如何應(yīng)對(duì)這些概念的規(guī)則，應(yīng)對(duì)方法是由網(wǎng)絡(luò)自己通過駕駛員視頻學(xué)習(xí)得到的，例如軟件沒有顯示要求自車要在車道線居中，模型自己從人類駕駛視頻中學(xué)習(xí)何時(shí)應(yīng)該居中，何時(shí)可以適當(dāng)偏離中線以達(dá)成更加擬人的駕駛決策。

　　3. 展現(xiàn)了端到端自動(dòng)駕駛系統(tǒng)相比傳統(tǒng)架構(gòu)優(yōu)勢(shì)的一些閃光點(diǎn)

　　雖然上面說了，我更加關(guān)注的是V12相比現(xiàn)有FSD是否在基礎(chǔ)功能上存在性能回退，但是在這次Demo中我們也看到了很多V12的閃光點(diǎn)。這次的一個(gè)大家容易忽略的亮點(diǎn)其實(shí)就發(fā)生在老馬第19min紅綠燈接管之前。當(dāng)時(shí)的場景是這樣的，直行的綠燈亮起但是前方路口擁堵，這時(shí)比較合理的駕駛決策是不要進(jìn)入路口，等待目標(biāo)路口空間出現(xiàn)再選擇通過路口，而FSD V12也正是這樣做（不要糾結(jié)國內(nèi)國情，實(shí)際上我國的交規(guī)也是這樣建議的，雖然很少有人按照?qǐng)?zhí)行），不過這也導(dǎo)致了這次綠燈V12沒能通行，一直到綠燈變紅，再下一次左轉(zhuǎn)綠燈亮起的時(shí)候V12出現(xiàn)了誤判，原因是V12目前似乎并不直接檢測紅綠燈的狀態(tài)（可視化界面中好像不再出現(xiàn)紅綠燈檢測結(jié)果），而是綜合參考了紅綠燈情況和周圍其他這輛行為來判斷是否應(yīng)該通行，所以當(dāng)有紅燈變綠，且周圍左轉(zhuǎn)車輛開始移動(dòng)的時(shí)候，V12產(chǎn)生了錯(cuò)誤判斷，認(rèn)為直行也已經(jīng)可以通行，造成接管。

　　第二個(gè)亮點(diǎn)出現(xiàn)在一次途徑點(diǎn)到達(dá)過程中，V12可以進(jìn)行靠邊停車的操作，而這也是目前的FSD所不具備的功能。而且Ashok在直播過程還透露，未來FSD甚至可以響應(yīng)用戶語音指令輸入，例如用戶可以告訴FSD向左換道，或者告訴FSD帶自己到達(dá)前面沃爾瑪，F(xiàn)SD就會(huì)根據(jù)語音指令分析其中語義信息并執(zhí)行相應(yīng)動(dòng)作。這里我的猜測是有可能在V12的模型中也有文字模態(tài)的加入，這也是目前自動(dòng)駕駛系統(tǒng)中很少使用的新技術(shù)，隨著大語言模型的爆炸式發(fā)展，在自動(dòng)駕駛中融入語言模型這一方向也給人很大的遐想空間。

　　總之這次FSD V12的Demo可以說是自動(dòng)駕駛行業(yè)內(nèi)一次具有顛覆性的事件，雖然本次demo依然存在問題，也還無法完全證明端到端系統(tǒng)就是自動(dòng)駕駛未來的前進(jìn)方向，但是隨著本次demo的展示，我相信端到端的自動(dòng)駕駛很可能將擺脫空中樓閣的尷尬境地，有潛力成為未來幾年內(nèi)行業(yè)爭先投入的重點(diǎn)。作為行業(yè)領(lǐng)軍的Tesla（也許有人不認(rèn)同，但是我身邊的從業(yè)者絕大多數(shù)對(duì)此是承認(rèn)或者默認(rèn)的）再次扮演了敢為天下先的角色，后續(xù)自動(dòng)駕駛技術(shù)范式到底如何迭代，這次demo的意義可能比很多人想象的更加深遠(yuǎn)。

　　編輯：黃飛