人工智能進(jìn)一步推動(dòng)了對(duì)算力的渴求，硬件的世界已經(jīng)發(fā)生了極大的顛覆，不論是數(shù)據(jù)的處理方式還是計(jì)算架構(gòu)的延伸，除了CPU、GPU、DSP、FPGA等，還涌現(xiàn)出各種各樣的AI加速器。除了傳統(tǒng)的芯片提供商，算法提供商、設(shè)備服務(wù)商甚至互聯(lián)網(wǎng)公司等，也都開(kāi)始規(guī)劃自己的芯片戰(zhàn)略。另一方面，創(chuàng)新速度也在加劇，甚至遠(yuǎn)遠(yuǎn)超出芯片的設(shè)計(jì)速度。

硬件發(fā)展受到了前所未有的挑戰(zhàn)。但與此同時(shí)，軟件的重要性也被提到了前所未有的高度。這背后的邏輯是什么？

三大行業(yè)趨勢(shì)正在驅(qū)動(dòng)變革

第一個(gè)趨勢(shì)是云和端的一體化。以前我們將大的計(jì)算量都放在云端，但隨之而來(lái)產(chǎn)生了帶寬傳輸?shù)膯?wèn)題。當(dāng)把運(yùn)算量漸漸移到端側(cè)的時(shí)候，又產(chǎn)生了功耗、算力的問(wèn)題。可能的處理方式是：當(dāng)數(shù)據(jù)量較小的時(shí)候放在端側(cè)，隨著數(shù)據(jù)量增大再放到云上，這就使得很多場(chǎng)景下很難界定究竟是云上還是端側(cè)，因此需要從云到端統(tǒng)一的解決方案，來(lái)適配不同場(chǎng)景下的計(jì)算需求。

第二個(gè)趨勢(shì)是AI激增。其前提是數(shù)據(jù)量的激增，以及數(shù)據(jù)形態(tài)的巨大變化。從傳統(tǒng)的文本、圖形數(shù)據(jù)，到現(xiàn)在的視頻、音頻、社交等非結(jié)構(gòu)化數(shù)據(jù)，未來(lái)還有包括聯(lián)網(wǎng)汽車數(shù)據(jù)、神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)、基因數(shù)據(jù)等更多形態(tài)的數(shù)據(jù)。當(dāng)數(shù)據(jù)量越來(lái)越大之后，如何讓數(shù)據(jù)發(fā)揮真正的價(jià)值成為重要的關(guān)注點(diǎn)。

第三個(gè)趨勢(shì)是異構(gòu)計(jì)算。傳統(tǒng)上應(yīng)對(duì)運(yùn)算性能提升的方式包括單核速度的提升，以及單核變多核。但是當(dāng)這兩種方式仍然無(wú)法滿足計(jì)算需求的時(shí)候，CPU+GPU、CPU+FPGA等組合形式的異構(gòu)計(jì)算概念出現(xiàn)了。異構(gòu)雖然帶來(lái)了性能上的提升，但是也給軟件開(kāi)發(fā)者帶來(lái)了各種挑戰(zhàn)。

軟硬件各自為政的時(shí)代已過(guò)去！

除了上述趨勢(shì)，軟硬件本身的特性也在促使二者關(guān)系的轉(zhuǎn)變。硬件按照物理規(guī)律在發(fā)展，相對(duì)于軟件，必然存在迭代慢、架構(gòu)復(fù)雜的問(wèn)題，特別是隨著摩爾定律趨緩，硬件架構(gòu)上的物理增長(zhǎng)越來(lái)越艱難。相較之下，算法的增長(zhǎng)和優(yōu)化則空間很大，一方面能夠提升硬件架構(gòu)的物理性能；另一方面，通過(guò)算法的升級(jí)能夠帶來(lái)算力上的躍進(jìn)。例如蘋果、華為、百度、阿里等公司都推出了內(nèi)置AI算法的芯片，應(yīng)用場(chǎng)景多以云端為主。

在這些趨勢(shì)的引領(lǐng)下，軟硬件的關(guān)系產(chǎn)生了新的變化。軟件似乎正變得越來(lái)越重要，許多公司甚至選擇軟件為先，硬件再去跟進(jìn)。

當(dāng)所有創(chuàng)新都被按下快進(jìn)鍵的過(guò)程中，硬件工程師需要工具幫助他們突破固定硬件的開(kāi)發(fā)限制，快速面對(duì)市場(chǎng)；軟件工程師則需要幫助他們屏蔽硬件復(fù)雜性，讓他們可以在熟悉的開(kāi)發(fā)環(huán)境中提升效率。

二者誰(shuí)更重要呢？沒(méi)有軟件，芯片無(wú)法使用，需要大量的軟件開(kāi)發(fā)者去將它表達(dá)為用戶真正所需；另一方面，軟件又需要芯片這個(gè)實(shí)體去承載，在整個(gè)系統(tǒng)中發(fā)揮價(jià)值。

誰(shuí)能幫助硬件和軟件工程師重新坐下來(lái)對(duì)話，為他們搭建起溝通的橋梁？

巨頭們已經(jīng)嗅到了這樣的趨勢(shì)。

10月9日，賽靈思宣布推出開(kāi)放、標(biāo)準(zhǔn)、免費(fèi)的統(tǒng)一軟件平臺(tái)Vitis。這是賽靈思有史以來(lái)首次發(fā)布的一款軟硬件統(tǒng)一的平臺(tái)，可以說(shuō)是賽靈思近年來(lái)轉(zhuǎn)型中一個(gè)重要的成果，根據(jù)官方說(shuō)明，它可以讓包括軟件工程師和 AI 科學(xué)家在內(nèi)的廣大開(kāi)發(fā)者都能受益于硬件靈活應(yīng)變的優(yōu)勢(shì)。Vitis統(tǒng)一軟件平臺(tái)支持賽靈思異構(gòu)平臺(tái)（包括FPGA、SoC和Versal ACAP）上開(kāi)發(fā)嵌入式軟件和加速應(yīng)用，為邊緣、云和混合計(jì)算應(yīng)用加速提供統(tǒng)一編程模型。它可以與高層次框架進(jìn)行集成，通過(guò)加速庫(kù)采用C、C++或Python進(jìn)行開(kāi)發(fā)，也可以使用基于RTL的加速器和低層次運(yùn)行時(shí)API對(duì)實(shí)現(xiàn)方案進(jìn)行粒度更為精確的控制。

四層堆棧，打通從硬件到應(yīng)用的道路！

Vitis 平臺(tái)構(gòu)建在基于堆棧的架構(gòu)之上，該架構(gòu)可以無(wú)縫插入到開(kāi)源的標(biāo)準(zhǔn)開(kāi)發(fā)系統(tǒng)與構(gòu)建環(huán)境，并且包含一套豐富的標(biāo)準(zhǔn)庫(kù)。

基礎(chǔ)層是 Vitis 目標(biāo)平臺(tái)，該平臺(tái)由電路板和預(yù)編程 I/O構(gòu)成。

第二層稱為 Vitis 核心開(kāi)發(fā)套件，覆蓋開(kāi)源賽靈思運(yùn)行時(shí)庫(kù)，以管理不同域間的數(shù)據(jù)移動(dòng)，包括子系統(tǒng)、即將發(fā)布的 Versal ACAP內(nèi)的AI引擎和必要的外部主機(jī)。此外，該層也提供編譯器、分析器和調(diào)試器等核心開(kāi)發(fā)工具，這些工具設(shè)計(jì)的目的是能與業(yè)界標(biāo)準(zhǔn)的構(gòu)建系統(tǒng)與開(kāi)發(fā)環(huán)境無(wú)縫集成。

在第三層，8個(gè)Vitis 庫(kù)提供 400 余種優(yōu)化的開(kāi)源應(yīng)用。這8個(gè)庫(kù)分別是：Vitis 基本線性代數(shù)子程序（BLAS）庫(kù)、Vitis 求解器庫(kù)、Vitis 安全庫(kù)、Vitis 視覺(jué)庫(kù)、Vitis 數(shù)據(jù)壓縮庫(kù)、Vitis 計(jì)量金融庫(kù)、Vitis 數(shù)據(jù)庫(kù)集和 Vitis AI 庫(kù)。借助這些庫(kù)，軟件開(kāi)發(fā)者可以使用標(biāo)準(zhǔn)的應(yīng)用編程接口（API）來(lái)實(shí)現(xiàn)硬件加速。

Vitis 平臺(tái)的第四層，也是最具有變革意義的一層是 Vitis AI。它集成了特定領(lǐng)域架構(gòu)（DSA），提供了針對(duì)AI模型的硬件實(shí)現(xiàn)，開(kāi)發(fā)者可以使用包括TensorFlow和Caffe等框架進(jìn)行配置與編程。Vitis AI 提供的工具鏈能在數(shù)分鐘內(nèi)完成優(yōu)化、量化和編譯操作，在賽靈思器件上運(yùn)行預(yù)先訓(xùn)練好的AI模型。此外，它也為從邊緣到云端的部署提供了專用 API，實(shí)現(xiàn)更好的推斷性能與效率。賽靈思很快還將推出另一個(gè) DSA（Vitis Video），支持從 FFmpeg 直接進(jìn)行編碼并提供同樣超級(jí)簡(jiǎn)單且功能極強(qiáng)大的端到端視頻解決方案。由合作伙伴公司提供的 DSA 包括：與 GATK 集成用于基因分析的Illumina，與ElasticSearch 集成用于大數(shù)據(jù)分析的BlackLynx，以及當(dāng)前客戶正在使用的專有DSA。

如何打破軟硬件壁壘，提升創(chuàng)新效率？

賽靈思軟件和人工智能高級(jí)經(jīng)理羅霖，以智慧城市為例說(shuō)明了如何通過(guò)統(tǒng)一軟件平臺(tái)Vitis，來(lái)幫助開(kāi)發(fā)人員進(jìn)行效率提升。

智慧城市一個(gè)典型的應(yīng)用場(chǎng)景就是在道路上實(shí)時(shí)統(tǒng)計(jì)交通流量，包括汽車流量、人流量等，通過(guò)大量攝像頭實(shí)時(shí)捕捉，在前端進(jìn)行特征提取，再傳給服務(wù)器或云端，進(jìn)行更高層次的信息提取和分析。

這個(gè)典型案例中，攝像頭和邊緣端服務(wù)器端都可以部署賽靈思的器件，硬件開(kāi)發(fā)人員完成IP開(kāi)發(fā)后，再由嵌入式開(kāi)發(fā)人員進(jìn)行一定程度的修改，基于Shell和Runtime，由應(yīng)用開(kāi)發(fā)人員使用經(jīng)過(guò)優(yōu)化的庫(kù)（包括CNN加速庫(kù)、數(shù)據(jù)分析和加速庫(kù)）完成應(yīng)用開(kāi)發(fā)。

對(duì)于算法開(kāi)發(fā)人員，他們通過(guò)TensorFlow等進(jìn)行模型訓(xùn)練之后，可以得到一個(gè)浮點(diǎn)的Model。接下來(lái)的開(kāi)發(fā)流程中，他們就可以使用Vitis AI開(kāi)發(fā)工具?；谀Ｐ瓦M(jìn)行第一步優(yōu)化，第二步完成模型的量化即定點(diǎn)，第三步定點(diǎn)好之后進(jìn)行編譯，生成基于底層DPU的機(jī)器代碼。最終，在板上進(jìn)行部署后分析性能，包括運(yùn)算效率等。如果覺(jué)得性能已達(dá)到目標(biāo)，就可以編譯成庫(kù)，應(yīng)用代碼可以直接調(diào)用編譯好的庫(kù)，進(jìn)行網(wǎng)絡(luò)推斷。整個(gè)過(guò)程中，他們不需要關(guān)注底層的RTL、驅(qū)動(dòng)程序或是數(shù)據(jù)的搬運(yùn)，所有的工作都是基于模型，由工具去生成在目標(biāo)硬件上運(yùn)行的機(jī)器代碼。

如何快速通過(guò)Vitis達(dá)到用戶所需的目標(biāo)性能？羅霖表示，第一，軟件開(kāi)發(fā)人員可以把算法，包括前后處理都在CPU上完成，這部分不需要底層硬件開(kāi)發(fā)人員的幫助，用Vitis可以達(dá)到每秒6幀的性能；第二，把DPU放在Shell里，用算法在其中做加速，性能可以從每秒6幀提升到每秒30幀；第三，為了提升端到端的性能，比如預(yù)處理是設(shè)計(jì)空間的轉(zhuǎn)換或者是視頻縮放，這部分可以用Vitis庫(kù)提供前處理的優(yōu)化，從30FPS提升到40FPS甚至再提升到80FPS。

整個(gè)項(xiàng)目中用到了瀏覽器、編譯器還有分析器，按照時(shí)間線來(lái)看，內(nèi)核占用情況、數(shù)據(jù)從編寫到搬運(yùn)占用時(shí)間、中斷是否合適……所有這些底層運(yùn)行的細(xì)節(jié)，軟件工程師一目了然，從而可以判定系統(tǒng)的運(yùn)行狀況，以及瓶頸問(wèn)題等。而傳統(tǒng)上，還需要在工具中專門插入芯片間隙或數(shù)據(jù)監(jiān)測(cè)器才能夠?qū)崿F(xiàn)。

屏蔽硬件復(fù)雜性——當(dāng)前軟件的重要價(jià)值

通過(guò)開(kāi)放、通用的軟件來(lái)屏蔽硬件復(fù)雜性，使軟件人員在他們熟悉的開(kāi)發(fā)環(huán)境中專注于創(chuàng)新，而無(wú)需關(guān)注底層硬件平臺(tái)的細(xì)節(jié)——成為消除當(dāng)前軟硬件壁壘的主要手段。

今年8月，Intel對(duì)其即將于年底發(fā)布的oneAPI開(kāi)發(fā)者測(cè)試版本進(jìn)行了劇透。OneAPI整合了計(jì)算和架構(gòu)創(chuàng)新，通過(guò)高速互連以及新的軟件開(kāi)發(fā)模式，希望為開(kāi)發(fā)者簡(jiǎn)化API。Intel希望將硬件能力抽象出來(lái)，把最重要的算法融于oneAPI，使開(kāi)發(fā)者不再需要針對(duì)硬件做開(kāi)發(fā)，更容易發(fā)揮出硬件的所有潛力。Intel的軟件策略似乎更強(qiáng)調(diào)圍繞架構(gòu)所進(jìn)行的擴(kuò)展，橫跨PC、網(wǎng)絡(luò)和數(shù)據(jù)中心，目標(biāo)包括易用性、開(kāi)放性以及統(tǒng)一的開(kāi)發(fā)體驗(yàn)。

再看英偉達(dá)建立在GPU基礎(chǔ)上的通用計(jì)算開(kāi)發(fā)平臺(tái)CUDA，由于在性能、成本和開(kāi)發(fā)時(shí)間上較傳統(tǒng)的CPU解決方案有顯著優(yōu)勢(shì)，當(dāng)時(shí)一經(jīng)推出就頗受市場(chǎng)歡迎。近年來(lái)，英偉達(dá)為了推進(jìn)GPU的易用性，仍持續(xù)從軟件層面幫助開(kāi)發(fā)者在更多垂直領(lǐng)域的GPU平臺(tái)上部署應(yīng)用程序。

賽靈思大中華區(qū)銷售副總裁唐曉蕾表示，提供靈活豐富的硬件選擇給軟件工程師，通過(guò)高層的API去調(diào)用下層資源，這個(gè)理念是一致的，只是不同廠商有不同的實(shí)現(xiàn)手段。賽靈思強(qiáng)調(diào)軟件定義硬件，硬件必須是可適應(yīng)的、靈活的。

她以自動(dòng)駕駛多樣化的應(yīng)用場(chǎng)景為例談到，攝像頭、環(huán)視、泊車等可能由不同的公司來(lái)實(shí)現(xiàn)，應(yīng)用場(chǎng)景包括高速公路、市區(qū)、港口、碼頭等等。如果專門為某一個(gè)應(yīng)用設(shè)計(jì)一款芯片是不可能的，客戶需要的是——靈活的、擴(kuò)展性較強(qiáng)的平臺(tái)，可以根據(jù)應(yīng)用和工作負(fù)載來(lái)優(yōu)化系統(tǒng)，這是賽靈思推出Vitis的主要原因。此外，推出開(kāi)放、標(biāo)準(zhǔn)、免費(fèi)的Vitis，也便于拓展用戶群，讓更多的軟件工程師體驗(yàn)賽靈思的的自適應(yīng)硬件平臺(tái)。

未來(lái)軟硬件的關(guān)系走向？

使用標(biāo)準(zhǔn)的環(huán)境與API、擁抱開(kāi)源、軟硬件協(xié)同作戰(zhàn)——是未來(lái)軟硬件關(guān)系的三大方向。

由于開(kāi)源社區(qū)在生態(tài)系統(tǒng)和開(kāi)發(fā)者社區(qū)創(chuàng)新中越來(lái)越重要，巨頭們都希望以更積極的態(tài)度介入這場(chǎng)大變革之中。

值得一提的是，在開(kāi)放性方面，賽靈思一個(gè)很大的創(chuàng)新還在于：賽靈思完全將集成的開(kāi)發(fā)環(huán)境免費(fèi)提供給用戶，讓他們將Vitis無(wú)縫集成在自己的開(kāi)發(fā)環(huán)境中。這與過(guò)去用戶自己設(shè)計(jì)開(kāi)發(fā)環(huán)境，背后調(diào)用賽靈思的編譯器和調(diào)試工具有很大的不同，更有利于軟件開(kāi)發(fā)人員在自適應(yīng)的開(kāi)發(fā)平臺(tái)上釋放創(chuàng)新力。其開(kāi)發(fā)者網(wǎng)站developer.xilinx.com，將作為連接Vitis開(kāi)發(fā)者社區(qū)的空間，由賽靈思、Vitis專家及愛(ài)好者共同管理，分享更新、設(shè)計(jì)技巧等信息。

正如唐曉蕾所說(shuō)，如果以搭建樂(lè)高來(lái)比喻未來(lái)的系統(tǒng)設(shè)計(jì)的話，那么硬件更像是一個(gè)個(gè)的樂(lè)高塊，軟件就像是搭建規(guī)則或是創(chuàng)意。樂(lè)高塊也許會(huì)有相同，但不同的搭建方式可以實(shí)現(xiàn)創(chuàng)意紛呈，賽靈思希望把樂(lè)高塊越做越豐富，給工程師更多的選擇，幫助他們更容易實(shí)現(xiàn)更多的功能創(chuàng)新，靈活應(yīng)對(duì)不斷變化的市場(chǎng)需求。