ChatGPT是由OpenAI于2022年12月推出的對(duì)話AI模型，一經(jīng)面世便受到廣泛關(guān)注。獲得千億、萬億級(jí)別參數(shù)的大語言模型需要超大規(guī)模AI服務(wù)器集群進(jìn)行訓(xùn)練，且隨著模型不斷迭代，對(duì)云端算力的需求增加。2023年以來，以英偉達(dá)為代表的AI芯片、通信網(wǎng)絡(luò)和服務(wù)器產(chǎn)業(yè)鏈相關(guān)企業(yè)股價(jià)漲幅明顯。

（1）云側(cè)AI：數(shù)據(jù)云端匯集訓(xùn)練，模型通用性強(qiáng)。從終端采集和感知到的聲音、視頻等數(shù)據(jù)都通過網(wǎng)絡(luò)傳輸?shù)皆?a target="_blank">中心側(cè)進(jìn)行后續(xù)處理，云側(cè)的資源高度集中，存儲(chǔ)和計(jì)算能力強(qiáng)，并且具有很高的通用性；

（2）端側(cè)AI：終端設(shè)備上進(jìn)行的輕型模型運(yùn)用。越來越多的 AI計(jì)算和推理工作負(fù)載在手機(jī)、筆記本電腦、XR 頭顯、汽車和其他邊緣終端上運(yùn)行，端側(cè)硬件具備一定的計(jì)算能力，以及低延遲、個(gè)性化、隱私安全的特征。

端側(cè)AI的四大優(yōu)勢(shì)：隱私和安全、低延時(shí)、可靠性、低成本。

? 隱私和安全：端側(cè)AI從本質(zhì)上有助于保護(hù)用戶隱私，因?yàn)椴樵兒蛡€(gè)人信息完全保留在終端上。數(shù)據(jù)的存儲(chǔ)計(jì)算等都在本地，避免了傳到云端可能帶來的數(shù)據(jù)安全問題。對(duì)于企業(yè)和工作場(chǎng)所等場(chǎng)景中使用端側(cè)AI，這有助于解決保護(hù)公司保密信息的難題。例如，用于代碼生成的編程助手應(yīng)用可以在終端上運(yùn)行，不向云端暴露保密信息。

? 低延時(shí)：當(dāng)生成式AI查詢對(duì)于云的需求達(dá)到高峰期時(shí)，會(huì)產(chǎn)生大量排隊(duì)等待和高時(shí)延，甚至可能出現(xiàn)拒絕服務(wù)的情況數(shù)據(jù)的存儲(chǔ)計(jì)算在本地處理、本地響應(yīng)方面時(shí)間更短速度更快。

? 可靠性：與云端互聯(lián)的網(wǎng)絡(luò)可能不穩(wěn)定、甚至斷線。決策在本地大幅降低了數(shù)據(jù)經(jīng)過更長(zhǎng)的通路產(chǎn)生錯(cuò)誤的幾率。終端側(cè)AI處理能夠在云服務(wù)器和網(wǎng)絡(luò)連接擁堵時(shí)，提供媲美云端甚至更佳的性能。如果所有的推理案例都在云服務(wù)器上進(jìn)行，準(zhǔn)確率是79.31%；如果49.88%的推理案例在移動(dòng)端進(jìn)行，其余在云端進(jìn)行，仍可達(dá)到79.31%的云級(jí)準(zhǔn)確率。

? 低成本：隨著生成式AI模型使用量和復(fù)雜性的不斷增長(zhǎng)，僅在云端進(jìn)行推理并不劃算。將一些處理從云端轉(zhuǎn)移到邊緣終端可減輕云基礎(chǔ)設(shè)施的壓力并減少開支。此外與云端相比，端側(cè)AI能夠以很低的能耗運(yùn)行生成式AI模型。