CEVA， Inc.推出的適用于人工智能和機(jī)器學(xué)習(xí) （AI/ML） 推理工作負(fù)載的最新一代處理器架構(gòu) NeuPro-M。

NeuPro-M針對 Edge AI 和 Edge Compute 的廣闊市場， 是一個(gè)自包含的異構(gòu)架構(gòu)，由多個(gè)專用協(xié)處理器和可配置的硬件加速器組成，可無縫同時(shí)處理深度神經(jīng)網(wǎng)絡(luò)的各種工作負(fù)載，將性能提升 5 -15X 與其前身相比。

作為業(yè)界首創(chuàng)，NeuPro-M 支持片上系統(tǒng) （SoC） 和異構(gòu) SoC （HSoC） 可擴(kuò)展性，可實(shí)現(xiàn)高達(dá) 1，200 TOPS，并提供可選的穩(wěn)健安全啟動(dòng)和端到端數(shù)據(jù)隱私。

NeuPro–M 兼容處理器最初包括以下預(yù)配置內(nèi)核：

NPM11 – 單個(gè) NeuPro-M 引擎，在 1.25GHz 時(shí)高達(dá) 20 TOPS

NPM18 – 8 個(gè) NeuPro-M 引擎，在 1.25GHz 時(shí)高達(dá) 160 TOPS

據(jù)該公司稱，在處理 ResNet50 卷積神經(jīng)網(wǎng)絡(luò)時(shí)，單個(gè) NPM11 內(nèi)核實(shí)現(xiàn)了 5 倍的性能提升和 6 倍的內(nèi)存帶寬減少，從而實(shí)現(xiàn)了高達(dá)每瓦 24 TOPS 的合適功率效率。

NeuPro-M 能夠處理所有已知的神經(jīng)網(wǎng)絡(luò)架構(gòu)，以及對下一代網(wǎng)絡(luò)（如轉(zhuǎn)換器、3D 卷積、自注意力和所有類型的遞歸神經(jīng)網(wǎng)絡(luò)）的集成原生支持。NeuPro-M 經(jīng)過優(yōu)化，可處理 250 多個(gè)神經(jīng)網(wǎng)絡(luò)、450 多個(gè) AI 內(nèi)核和 50 多個(gè)算法。嵌入式矢量處理單元 （VPU） 確保基于未來的軟件支持新的神經(jīng)網(wǎng)絡(luò)拓?fù)浜?AI 工作負(fù)載的新進(jìn)展。此外，CDNN 離線壓縮工具可以將 NeuPro-M 的 FPS/Watt 提高 5-10 倍，用于常見基準(zhǔn)測試，而對準(zhǔn)確性的影響最小。

NeuPro-M 異構(gòu)架構(gòu)由特定功能的協(xié)處理器和負(fù)載平衡機(jī)制組成，與前代產(chǎn)品相比，它們是性能和效率飛躍的主要貢獻(xiàn)者。通過將控制功能分配給本地控制器并以分層方式實(shí)現(xiàn)本地內(nèi)存資源，NeuPro-M 實(shí)現(xiàn)了數(shù)據(jù)流的靈活性，可實(shí)現(xiàn) 90% 以上的利用率，并在任何給定時(shí)間防止不同協(xié)處理器和加速器的數(shù)據(jù)不足。 CDNN 框架通過實(shí)踐針對特定網(wǎng)絡(luò)、所需帶寬、可用內(nèi)存和目標(biāo)性能所采用的各種數(shù)據(jù)流方案來獲得最佳負(fù)載平衡。

NeuPro-M 架構(gòu)亮點(diǎn)包括：

由 4K MAC（乘加）組成的主網(wǎng)格陣列，混合精度為 2-16 位。

用于權(quán)重和激活的 Winograd 變換引擎，將卷積時(shí)間減少 2 倍，并允許 8 位卷積處理，精度下降 《0.5%。

稀疏引擎可避免每層使用零值權(quán)重或激活的操作，從而獲得高達(dá) 4 倍的性能提升，同時(shí)降低內(nèi)存帶寬和功耗。

完全可編程的向量處理單元，用于處理具有所有數(shù)據(jù)類型的新的不受支持的神經(jīng)網(wǎng)絡(luò)架構(gòu)，從 32 位浮點(diǎn)到 2 位二進(jìn)制神經(jīng)網(wǎng)絡(luò) （BNN）。

可配置的權(quán)重和數(shù)據(jù)壓縮到 2 位，同時(shí)存儲(chǔ)到內(nèi)存中，并在讀取時(shí)實(shí)時(shí)解壓縮，以減少內(nèi)存帶寬。

動(dòng)態(tài)配置的兩級存儲(chǔ)器架構(gòu)可最大限度地減少因與外部 SDRAM 之間的數(shù)據(jù)傳輸而導(dǎo)致的功耗。

為了說明這些功能在 NeuPro-M 架構(gòu)中的優(yōu)勢，同時(shí)使用 Winograd 變換、稀疏引擎和低分辨率 4x4 位激活的正交機(jī)制，可將 Resnet50 等網(wǎng)絡(luò)的循環(huán)計(jì)數(shù)減少 3 倍以上和 Yolo V3。

由于神經(jīng)網(wǎng)絡(luò)權(quán)重和偏差、數(shù)據(jù)集和網(wǎng)絡(luò)拓?fù)涑蔀樗姓叩年P(guān)鍵知識產(chǎn)權(quán)，因此需要保護(hù)它們免遭未經(jīng)授權(quán)的使用。NeuPro-M 架構(gòu)以可選的信任根、身份驗(yàn)證和加密加速器的形式支持安全訪問。

對于汽車市場，NeuPro-M 內(nèi)核及其 CEVA 深度神經(jīng)網(wǎng)絡(luò) （CDNN） 深度學(xué)習(xí)編譯器和軟件工具包符合汽車 ISO26262 ASIL-B 功能安全標(biāo)準(zhǔn)，并符合嚴(yán)格的質(zhì)量保證標(biāo)準(zhǔn) IATF16949 和 A-Spice。

結(jié)合 CEVA 的神經(jīng)網(wǎng)絡(luò)編譯器 CDNN 及其強(qiáng)大的軟件開發(fā)環(huán)境，NeuPro-M 為客戶提供了一個(gè)完全可編程的硬件/軟件 AI 開發(fā)環(huán)境，以最大限度地提高他們的 AI 性能。CDNN 包含的軟件可以充分利用客戶的 NeuPro-M 定制硬件來優(yōu)化功率、性能和帶寬。CDNN 軟件還包括一個(gè)內(nèi)存管理器，用于減少內(nèi)存和優(yōu)化負(fù)載平衡算法，并廣泛支持各種網(wǎng)絡(luò)格式，包括 ONNX、Caffe、TensorFlow、TensorFlow Lite、Pytorch 等。CDNN 與常見的開源框架兼容，包括 Glow、tvm、Halide 和 TensorFlow，并在使用精度守恒方法的同時(shí)包括“層融合”和“訓(xùn)練后量化”等模型優(yōu)化功能。

NeuPro-M 可用于今天的主要客戶許可和今年第二季度的一般許可。NeuPro-M 客戶還可以從 CEVA 的異構(gòu) SoC 設(shè)計(jì)服務(wù)中受益，以幫助集成和支持系統(tǒng)設(shè)計(jì)和小芯片開發(fā)。

審核編輯：郭婷