隨著智能安全、機器人或無人駕駛汽車等應用越來越依靠嵌入式人工智能技術(shù)來提高性能，交付全新的用戶體驗，傳統(tǒng)計算平臺上的推斷引擎很難在有限的功耗、時延和物理尺寸限制下滿足實際要求。推斷引擎必須滿足嚴格定義的推斷精度，還受限于總線寬度，而且存儲器難以為最佳速度、效率和芯片面積進行調(diào)整優(yōu)化。我們需要靈活應變的計算平臺來滿足運行一流卷積神經(jīng)網(wǎng)絡 (CNN) 的嵌入式 AI 的要求。

放眼未來，適應于更多前沿神經(jīng)網(wǎng)絡的靈活性是我們的主要關(guān)注點。今天廣受歡迎的 CNN 正加速被新型的先進架構(gòu)所取代。然而，傳統(tǒng)的 SoC 設計要使用當前的神經(jīng)網(wǎng)絡架構(gòu)知識，從開發(fā)開始到未來部署通常需要大約三年時間。RNN 或 Capsule Network 等新型神經(jīng)網(wǎng)絡可能會讓傳統(tǒng) SoC 變得低效，也難以提供保持競爭力所需的性能。

嵌入式 AI 要滿足最終用戶期望，特別是要跟上可預見的未來不斷提升的需求，就必須采用更加靈活的自適應計算平臺。我們可利用用戶可配置的多核片上系統(tǒng) (MPSoC) 器件，整合主應用處理器和可擴展的可編程邏輯結(jié)構(gòu)，包含可配置的存儲器架構(gòu)和滿足可變精度推斷所需的信號處理技術(shù)，從而滿足上述要求。

推 斷 精 度

在傳統(tǒng)的 SoC 中，決定性能的特性如存儲器架構(gòu)和計算精確度等是固定的。最小值通常為 8 位，由核心 CPU 定義，不過就給定的算法而言最佳精度可能更低。MPSoC 支持可編程邏輯優(yōu)化至晶體管層面，這就能根據(jù)需要讓推斷精度降低到 1 位。此外，這類器件還包含成千上萬可配置的 DSP slice，能高效處理乘積累加 (MAC) 計算。

能自由優(yōu)化推斷精度，根據(jù)平方律提供剛好滿足需求的計算效率，也就是說單位的運算用 1 位核心執(zhí)行，相對于用 8 位核心完成相同計算而言，所需的邏輯僅為 1/64。此外，MPSoC 能讓推斷精度針對神經(jīng)網(wǎng)絡的每層做出不同優(yōu)化，從而以最大的效率提供所需的性能。

存 儲 器 架 構(gòu)

除了通過改變推斷精度來提高計算效率之外，配置可編程片上存儲器的帶寬和結(jié)構(gòu)能進一步提高嵌入式 AI 的性能和效率。定制 MPSoC 相對于運行相同推斷引擎的傳統(tǒng)計算平臺而言，片上存儲器可能達到 4 倍多，存儲器—接口帶寬可能達到 6 倍。存儲器的可配置性使得用戶能減少瓶頸，并優(yōu)化芯片資源的利用率。此外，典型的子系統(tǒng)只有有限的片上集成高速緩存，必須與片外存儲設備頻繁交互，這就會增加時延和功耗。在 MPSoC 中，大多數(shù)存儲器交換都在片上進行，這就會大幅提高速度，而且相對于片外存儲器交互而言功耗降低超過 99%。

芯 片 面 積

解決方案的尺寸也越來越重要，特別就采用移動 AI 的無人機、機器人或無人/自動駕駛汽車而言尤其如此。MPSoC 的 FPGA 結(jié)構(gòu)上實現(xiàn)的推斷引擎可能僅占用傳統(tǒng) SoC 八分之一的芯片面積，這就能讓開發(fā)人員在更小的器件中構(gòu)建功能更強大的引擎。

此外，MPSoC 器件系列為設計人員提供了實現(xiàn)推斷引擎的豐富選擇，能支持最節(jié)能、成本效率最高、面積占用最小的方案，從而滿足系統(tǒng)性能要求。一些通過汽車應用認證的部件具備硬件功能安全特性，達到業(yè)界標準的 ISO 26262 ASIL-C 安全規(guī)范，這對自動駕駛應用而言至關(guān)重要。比如賽靈思的 Automotive XA Zynq UltraScale+ 系列采用 64 位四核 ARM Cortex-A53 和雙核 ARM Cortex-R5 處理系統(tǒng)以及可擴展的可編程邏輯結(jié)構(gòu)，這就能在單個芯片上整合控制處理、機器學習算法和安全電路，同時提供故障容錯功能。

今天，嵌入式推斷引擎可用單個 MPSoC 器件實現(xiàn)，功耗低至 2 瓦，這對移動機器人或自動駕駛汽車而言都是比較合適的功耗水平。傳統(tǒng)計算平臺即便現(xiàn)在也無法用這么低的功耗運行實時 CNN 應用，未來也不太可能在更嚴格的功耗限制條件下滿足更快響應和更復雜功能的日益嚴格的要求。基于可編程 MPSoC 的平臺能夠提供更高的計算性能，更高的效率，也能在 15瓦以上的功率水平下減小面積和減輕重量。

如果開發(fā)人員不能在自己的項目中輕松地實現(xiàn)這些優(yōu)勢，那么這種可配置型多平行計算架構(gòu)的優(yōu)勢就僅限于學術(shù)領域。成功需要適當?shù)墓ぞ邅韼椭_發(fā)人員優(yōu)化目標推斷引擎的實現(xiàn)。為了滿足有關(guān)需求，賽靈思不斷擴展開發(fā)工具生態(tài)系統(tǒng)和機器學習軟件堆棧，并與專業(yè)合作伙伴合作，一起簡化和加速計算機視覺和視頻監(jiān)控等應用的實現(xiàn)。

面 向 未 來 的 靈 活 性

利用 SoC 的可配置性為手頭應用創(chuàng)建最佳平臺，也使得 AI 開發(fā)人員能夠靈活地跟上神經(jīng)網(wǎng)絡架構(gòu)快速發(fā)展演進的要求。業(yè)界可能遷移到新型神經(jīng)網(wǎng)絡的可能性，對于平臺開發(fā)人員來說是一個巨大的風險?？芍嘏渲玫?MPSoC 通過重配置并用當前最先進的策略來構(gòu)建最高效的處理引擎，能夠讓開發(fā)人員靈活地響應神經(jīng)網(wǎng)絡架構(gòu)方式的變化。

AI 越來越多地嵌入到各種設備中，包括工業(yè)控制、醫(yī)療設備、安全系統(tǒng)、機器人和自動駕駛汽車等。利用可編程邏輯結(jié)構(gòu)的 MPSoC 器件的靈活應變加速技術(shù)，是提供保持競爭力所需的快速響應和高級功能的關(guān)鍵。