數(shù)據(jù)的質(zhì)量和規(guī)模才是端到端的“命脈”

11月，知行科技作為共同第一作者提出的Strong Vision Transformers Could BeExcellent Teachers(ScaleKD)，以預(yù)訓(xùn)練ViT(視覺(jué)Transformer)模型作為教師，CNN網(wǎng)絡(luò)作為學(xué)生進(jìn)行學(xué)習(xí)。推進(jìn)異構(gòu)神經(jīng)網(wǎng)絡(luò)間知識(shí)蒸餾研究的具體范式/方法，被收錄于NeurIPS 2024(第38屆神經(jīng)信息處理系統(tǒng)會(huì)議)。

這是知行科技構(gòu)建大模型體系能力的初步成果之一。2024年年中，知行科技開(kāi)始從資源、組織等多線程入手，打造面向大模型的研發(fā)架構(gòu)體系，并完成組織架構(gòu)調(diào)整，引入包括清華大學(xué)計(jì)算機(jī)博士背景的大模型架構(gòu)師等多位大模型與自動(dòng)駕駛領(lǐng)域?qū)＜?，?gòu)建起對(duì)齊主流的研發(fā)組織架構(gòu)和專(zhuān)家人才庫(kù)，為2025落地端到端大模型系統(tǒng)上車(chē)做好準(zhǔn)備。

01構(gòu)建以數(shù)據(jù)為中心的開(kāi)發(fā)體系

端到端讓所有智駕玩家有機(jī)會(huì)重新站上起跑線，但做端到端的挑戰(zhàn)并不全在于“模型”本身。

原特斯拉FSD研發(fā)負(fù)責(zé)人Andrej Karpathy曾表示，特斯拉自動(dòng)駕駛部門(mén)將3/4的精力用在采集、清洗、分類(lèi)、標(biāo)注高質(zhì)量數(shù)據(jù)上，只有1/4用于算法探索和模型創(chuàng)建。究其原因，數(shù)據(jù)是人工智能發(fā)展的燃料，而端到端大模型將AI的“油耗”水平推到了新的高度。

“100萬(wàn)個(gè)視頻 Case 訓(xùn)練，勉強(qiáng)夠用;200萬(wàn)個(gè)，稍好一些;300萬(wàn)個(gè)，就會(huì)感到Wow;到了1000 萬(wàn)個(gè)，就變得難以置信了。”特斯拉創(chuàng)始人馬斯克曾這樣量化FSD的訓(xùn)練數(shù)據(jù)需求。

問(wèn)題是，雖然人類(lèi)活動(dòng)生生不息，有效數(shù)據(jù)卻不是源源不斷。ChatGPT 3 的開(kāi)發(fā)文檔中提到，45TB的純文本質(zhì)量過(guò)濾后，僅獲得570GB的文本，有效數(shù)據(jù)僅為1.27%。大語(yǔ)言和多模態(tài)模型領(lǐng)域已經(jīng)開(kāi)始出現(xiàn)高質(zhì)量的真實(shí)文本、視頻數(shù)據(jù)耗盡，性能撞墻的情況。

對(duì)自動(dòng)駕駛來(lái)說(shuō)，高質(zhì)量的數(shù)據(jù)多來(lái)自罕見(jiàn)路況和場(chǎng)景，產(chǎn)生條件苛刻，導(dǎo)致樣本量相對(duì)語(yǔ)言類(lèi)更為稀缺，更是難以滿足大模型的參數(shù)需求。

目前，端到端自動(dòng)駕駛系統(tǒng)上車(chē)帶來(lái)更上限的同時(shí)，也開(kāi)始遭遇數(shù)據(jù)分布問(wèn)題、高質(zhì)量數(shù)據(jù)不足，導(dǎo)致的部分場(chǎng)景性能回退、困難場(chǎng)景性能不穩(wěn)定的情況。

數(shù)據(jù)的質(zhì)量和規(guī)模才是端到端的“命脈”。知行科技在進(jìn)入端到端賽道時(shí)，決定構(gòu)建“以數(shù)據(jù)為中心”的研發(fā)體系，用以滿足大模型對(duì)高質(zhì)量數(shù)據(jù)“貪婪”的特性。

知行科技重構(gòu)研發(fā)組織架構(gòu)，形成大模型、模型部署、基礎(chǔ)設(shè)施、大數(shù)據(jù)等多模塊在內(nèi)的主流人工智能開(kāi)發(fā)框架。其中，大模型組不僅在模型層面提供新的技術(shù)支持，在數(shù)據(jù)自動(dòng)標(biāo)注算法、基于擴(kuò)散模型的數(shù)據(jù)生成、基于多模態(tài)大模型的數(shù)據(jù)挖掘方面也都有發(fā)力，以更低成本的數(shù)據(jù)生產(chǎn)為目標(biāo)，保質(zhì)保量地滿足知行科技端到端大模型的數(shù)據(jù)需求。

02仿真數(shù)據(jù)，數(shù)據(jù)戰(zhàn)爭(zhēng)的下一步

當(dāng)數(shù)據(jù)需求是百萬(wàn)clips起步時(shí)，應(yīng)該如何打這場(chǎng)數(shù)據(jù)戰(zhàn)爭(zhēng)?

知行科技一方面強(qiáng)化自有數(shù)據(jù)采集和標(biāo)注能力，并與生態(tài)伙伴形成一定程度的數(shù)據(jù)協(xié)同;

在數(shù)據(jù)采集方面，知行科技已自建采集車(chē)隊(duì)，自主搭建數(shù)據(jù)采集軟件、車(chē)端采集系統(tǒng)和后端耦合系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)采集全鏈條的自動(dòng)化和高度可控，日采集效率達(dá)20萬(wàn)幀，為BEV行泊車(chē)功能閉環(huán)量產(chǎn)提供必要的數(shù)據(jù)支持。

在數(shù)據(jù)標(biāo)注方面，知行科技已經(jīng)建成自動(dòng)化標(biāo)注體系并在不斷地完善，在OD(障礙物檢測(cè))、LD(車(chē)道線檢測(cè))項(xiàng)目中實(shí)現(xiàn)完全自動(dòng)標(biāo)注，整體減少至少50%的數(shù)據(jù)標(biāo)注成本。

與此同時(shí)，面向端到端系統(tǒng)海量數(shù)據(jù)需求，知行科技則借助大模型的能力，探索仿真數(shù)據(jù)的產(chǎn)業(yè)應(yīng)用前景。

12月，OpenAI和谷歌先后發(fā)布了視頻產(chǎn)品，提供文本、圖像、視頻轉(zhuǎn)視頻的功能，展現(xiàn)出擴(kuò)散模型等大模型對(duì)現(xiàn)實(shí)世界極強(qiáng)的復(fù)現(xiàn)和“改寫(xiě)”能力。事實(shí)上，包括特斯拉在內(nèi)的自動(dòng)駕駛頭部玩家，也已正在加大仿真數(shù)據(jù)領(lǐng)域的投入。

因?yàn)?，仿真?shù)據(jù)在數(shù)據(jù)生產(chǎn)降本，和稀有場(chǎng)景數(shù)據(jù)獲得方面，有著至關(guān)重要的作用：

經(jīng)過(guò)良好預(yù)訓(xùn)練的大模型能夠“向前”，渲染復(fù)制現(xiàn)實(shí)世界生成圖像，并通過(guò)在虛擬世界中車(chē)輛動(dòng)態(tài)擺放，僅用幾分鐘生成成千上萬(wàn)段仿真場(chǎng)景信息;

也能夠“向后”推理，基于已有場(chǎng)景和環(huán)境信息，進(jìn)行規(guī)劃控制的學(xué)習(xí)，打通整個(gè)感知和規(guī)劃鏈路;

此外，基于對(duì)物理世界的理解，大模型還能夠通過(guò)改變場(chǎng)景中的關(guān)鍵數(shù)值，提升數(shù)采場(chǎng)景的有效比例。

目前，知行科技通過(guò)大模型進(jìn)行數(shù)據(jù)生成已取得階段性成果：能夠使用原圖進(jìn)行天氣，光照等條件的修改達(dá)到快速擴(kuò)充真值的目標(biāo);通過(guò)給定特殊控制量，達(dá)到數(shù)據(jù)生產(chǎn)的目的。通過(guò)在自動(dòng)標(biāo)注和大模型數(shù)據(jù)生成方面的全面布局，知行科技在數(shù)據(jù)生產(chǎn)的降本和質(zhì)量提升方面，已取得實(shí)質(zhì)性進(jìn)展。

此外，在數(shù)據(jù)挖掘方面，知行科技已初步建成ImoGPT-多模態(tài)大模型的安全解決方案，通過(guò)MoE(混合專(zhuān)家系統(tǒng))大模型，進(jìn)行文本理解、圖片理解和視頻理解。其將在實(shí)現(xiàn)場(chǎng)景可解釋性、數(shù)據(jù)挖掘、端到端安全方案等多方面發(fā)揮重要作用。

03大模型，有教無(wú)類(lèi)的“良師”

大模型可以是數(shù)據(jù)的生產(chǎn)者，也可以是端側(cè)小模型的“好老師”。

如ChatGPT解釋?zhuān)瑧{借龐大的參數(shù)量和復(fù)雜的結(jié)構(gòu)，大模型能夠通過(guò)海量數(shù)據(jù)訓(xùn)練，發(fā)現(xiàn)新的、更高層次的特征和模式，表現(xiàn)出未能預(yù)測(cè)、更復(fù)雜的能力和特性，實(shí)現(xiàn)智能的涌現(xiàn)?！坝楷F(xiàn)能力”也是大模型擴(kuò)大使用場(chǎng)景，提升泛化性的核心。但大模型也存在計(jì)算資源消耗巨大、推理速度慢、模型可解釋性差的問(wèn)題，難以被部署在計(jì)算和能耗都非常有限的端側(cè)。

如何使端模型也獲得相應(yīng)的知識(shí)和泛化能力，知識(shí)蒸餾(Knowledge Distillation)技術(shù)應(yīng)運(yùn)而生：將大模型學(xué)到的知識(shí)遷移到一個(gè)更小的模型中，保持性能的同時(shí)降低模型部署難度和計(jì)算開(kāi)銷(xiāo)。

知行科技被NeurIPS 收錄的ScaleKD，正是一種大模型知識(shí)蒸餾方法。

ScaleKD通過(guò)結(jié)合三個(gè)緊密耦合的組件(交叉注意力投影器，雙視圖特征模仿和教師參數(shù)感知)，對(duì)齊云端教師模型和端側(cè)學(xué)生模型之間的特征計(jì)算范式差異、型規(guī)模差異和知識(shí)密度差異，實(shí)現(xiàn)任何目標(biāo)學(xué)生模型在大規(guī)模數(shù)據(jù)集上的時(shí)間密集的預(yù)訓(xùn)練范式。

這意味著，大模型能夠作為“有教無(wú)類(lèi)”的良師，將知識(shí)和規(guī)律“復(fù)制”到端側(cè)模型，大幅提升其性能和泛化性。

從前沿學(xué)術(shù)研究出發(fā)，知行科技將根據(jù)實(shí)際中使用的端模型，構(gòu)建對(duì)應(yīng)的老師模型進(jìn)行訓(xùn)練，獲得更強(qiáng)的能力，從而通過(guò)知識(shí)蒸餾提高端模型的學(xué)習(xí)效果和速度。

端到端大模型的應(yīng)用，為智能駕駛玩家?guī)?lái)重新開(kāi)局的機(jī)會(huì)。中國(guó)的場(chǎng)景復(fù)雜性、市場(chǎng)需求，中國(guó)團(tuán)隊(duì)工程化和應(yīng)用落地的能力，以及大模型技術(shù)領(lǐng)域不斷涌現(xiàn)的新能力，使后來(lái)者能夠快速、確定性地切入賽道。

知行科技著力構(gòu)建的數(shù)據(jù)生產(chǎn)能力，積累的高質(zhì)量數(shù)據(jù)，將為端到端模型訓(xùn)練提供源源不斷的”燃料“，推動(dòng)智駕功能從“能用”、“好用”，走向消費(fèi)者“愛(ài)用”的未來(lái)。