中國(guó)是全球最大的在線零售市場(chǎng)，而阿里巴巴則是中國(guó)最大的電子商務(wù)公司。作為阿里巴巴集團(tuán)旗下的云計(jì)算和數(shù)據(jù)智能部門，阿里云為國(guó)際客戶的在線業(yè)務(wù)及阿里巴巴集團(tuán)自身的電子商務(wù)生態(tài)系統(tǒng)提供綜合全面的成套全球云計(jì)算服務(wù)。在公有云服務(wù)提供商市場(chǎng)上，阿里云的市場(chǎng)份額位居亞太地區(qū)首位。

阿里云的業(yè)務(wù)之一是為眾多第三方廠商處理海量產(chǎn)品圖像。由于一些圖像內(nèi)含有未付費(fèi)廣告等多余文本信息，給付費(fèi)廣告業(yè)務(wù)造成不利影響，因此，為了確保電子商務(wù)網(wǎng)站提供一致的體驗(yàn)，需要以 AI 推斷對(duì)每天數(shù)千萬(wàn)幅圖像中嵌入的有害文本或多余文本進(jìn)行檢測(cè)，隨之而來(lái)的是巨大的 AI 推斷計(jì)算工作負(fù)載以及高昂的運(yùn)營(yíng)成本。

借助 ML 框架在賽靈思 FPGA 上直接加速 Yolo-v2

阿里巴巴過(guò)去使用 GPU 運(yùn)行 Yolo-v2 Tiny（數(shù)據(jù)類型為 Float32），通過(guò)這種方法掌握每日千萬(wàn)級(jí)的圖像內(nèi)容。由于該架構(gòu)未經(jīng)充分優(yōu)化，GPU 只能實(shí)現(xiàn)有限的每秒查詢次數(shù) （QPS） 吞吐量，導(dǎo)致用電成本高、服務(wù)器空間占用大。為了降低運(yùn)營(yíng)費(fèi)用，阿里巴巴尋求比 GPU 成本更低的解決方案來(lái)檢測(cè)有害或多余的文本信息。

依托于賽靈思 16nm Virtex UltraScale+? FPGA 的高度自適應(yīng)架構(gòu)，阿里云 FaaS 團(tuán)隊(duì)在 Int16 上運(yùn)行 Yolo-v2 Tiny 模型，在媲美 GPU 精度的前提下實(shí)現(xiàn)一流的 QPS 性能。單片賽靈思 UltraScale+ FPGA 每秒能處理數(shù)百幅圖片，與最初的 GPU 實(shí)現(xiàn)方案相比性能提高 3.5 倍。在 FaaS 的啟發(fā)下，雖然GPU通過(guò)完成類似優(yōu)化也可以達(dá)到類似性能，但賽靈思解決方案的單幅圖像成本更低。除此之外，賽靈思 Vitis AI 在加快開(kāi)發(fā)速度方面也有著上佳表現(xiàn)。

VU9P 與 GPU 運(yùn)行 YOLO V2 Tiny 的對(duì)比

賽靈思 Vitis AI 堆棧

在不降低精度的前提下節(jié)省 75% 總擁有成本

Vitis AI 支持開(kāi)發(fā)者在無(wú)需編寫任何 RTL 代碼的情況下，優(yōu)化 DNN 模型并將預(yù)訓(xùn)練的 DNN 模型部署到賽靈思 FPGA 中。其運(yùn)行時(shí)及外殼程序讓開(kāi)發(fā)者無(wú)需成為 FPGA 專家就能夠充分從賽靈思硬件加速中獲益。

阿里巴巴云和智能FPGA異構(gòu)計(jì)算負(fù)責(zé)人張振祥負(fù)責(zé)領(lǐng)導(dǎo)該項(xiàng)目并成功在 F3 實(shí)例上實(shí)施了 AI 加速。

阿里云 FaaS 在云端提供統(tǒng)一的硬件平臺(tái)與中間件。在賽靈思 Vitis AI 的支持下，阿里云 FaaS 能夠大幅降低 AI 加速器的開(kāi)發(fā)成本與部署成本。加速器廠商可以將加速器以服務(wù)形式提供給用戶，克服加速技術(shù)的硬件壁壘。用戶可以按需使用加速服務(wù)，不必理解底層硬件詳情。借助 Vitis AI，阿里巴巴和賽靈思聯(lián)合開(kāi)發(fā) AI 加速解決方案的最大優(yōu)勢(shì)在于，阿里巴巴不需要任何人成為使用 FPGA 技術(shù)的專家。

此外，張振祥還指出：“起初，很多人對(duì)于將 FPGA 用于 AI 領(lǐng)域的前景并不看好，因?yàn)?GPU 使用方便且支持所有框架。但是，阿里云與賽靈思合作充分證明了其實(shí) FPGA 更適合該領(lǐng)域中的特定場(chǎng)景?！?/p>

FPGA 更適合！

FPGA 更適合某些領(lǐng)域中的特定場(chǎng)景，尤其是在云 AI 推斷方面有顯著的成本優(yōu)勢(shì)。例如：

云端外殼程序使開(kāi)發(fā)工作大幅簡(jiǎn)化；

小寬度及修剪所需成本及功耗大幅降低；

圖像銳化及 FFT 過(guò)濾器等 IP 會(huì)為部分創(chuàng)新應(yīng)用創(chuàng)造額外價(jià)值。

通過(guò) FaaS 平臺(tái)，加上大量的 ISV 及獨(dú)立的 IP 開(kāi)發(fā)商，F(xiàn)PGA 會(huì)在云端 AI 推斷領(lǐng)域迎來(lái)大量機(jī)遇。