為了跟上前沿神經網絡的要求，高科技公司正在努力尋找提高人工智能性能的最佳方式。與此同時，世界各地涌現出許多初創(chuàng)公司，它們對如何更好的地實現AI提出了新的想法。這一領域正在吸引大量風險資本的投資，這使得該領域不僅擁有大量現金，而且還擁有計算架構的新穎想法。

我們正在追蹤來自美國、歐洲和亞洲的約60家人工智能芯片公司， 從重新研發(fā)可編程邏輯和多核設計，到開發(fā)自己全新架構的公司，再到使用神經形態(tài)（腦啟發(fā)）架構和光學計算等未來技術的公司。

以下是10個我們認為有前途，或至少有一些有趣想法的案例。我們將它們按照其產品在網絡中的目標位置分為：數據中心、端點或AIoT設備。

數據中心的人工智能

根據位置不同，數據中心可以算作“邊緣”。邊緣計算的關鍵概念是在（或接近）生成或收集數據的相同地理位置處理數據。這包括網關或集線器設備，也包括加速公司單一人工智能應用程序的內部服務器。想想醫(yī)院或醫(yī)學研究機構中加速x射線或CT掃描圖像分類的服務器，以及從工廠接收狀態(tài)數據并在現場處理的網關。

Graphcore

總部位于英國布里斯托爾的Graphcore公司在早期的一輪融資中獲得了超過10億美元的估值，成為首家被認定為獨角獸的西方半導體初創(chuàng)公司。

Graphcore的IPU（智能處理單元）芯片擁有超過1200個專業(yè)核心的大規(guī)模并行架構，每個核心可以運行6個程序線程。還有大量的片上內存，幾百MB的RAM，更重要的是，還有45 tb的內存帶寬。這使得整個機器學習模型可以存儲在芯片上。

Graphcore的IPU芯片可以在戴爾服務器上用于邊緣計算應用程序。

Groq

Groq是由谷歌的一個團隊在硅谷創(chuàng)立，擁有70名員工，迄今已籌集了6700萬美元的資金。在SC ‘ 19，他們正式推出了他們的超大芯片，可以達到1000 TOPS。

Groq的軟件優(yōu)先的方法意味著他們的編譯器處理許多通常在硬件中會發(fā)生的控制功能，比如執(zhí)行計劃。軟件會編排所有的數據流和時間，以確保計算不會出現停頓，并使延遲、性能和功耗在編譯時完全可預測。

Groq正以其張量流處理器（TSP）芯片為目標，瞄準數據中心應用和自動駕駛車輛。

Cerebras

Cerebras是以恢復圓片規(guī)模芯片的倡導而著稱，而這個想法早在80年代就已經被放棄。

我們常見的處理器都是經過封裝之后才可使用的，實際上如CPU中的核心裸片大小一般在200平方毫米以下，而GPU核心的大小也沒有超過1000平方毫米的，所以在一片晶圓上可以切割出很多核心裸片。不過這并不代表無法制造超大尺寸的芯片，在Hot Chip 31會議中，Cerebras Systems就推出了一款晶圓級深度學習芯片，尺寸達到了215×215平方毫米。幾乎占據了一整個晶圓的大小。

Cerebras龐大的46，225mm2的芯片，占用整個晶圓，其功耗15千瓦，在84個處理器塊上封裝40萬個核和18GB內存。雖然這些數字看起來非常龐大，但請記住，這么大的芯片被設計出來，目的是代替成千上萬個GPU的。

而這么大的芯片主要就是用來進行深度學習訓練的，而深度學習的訓練是應用小變化的過程，模型的大小等因素讓神經網絡訓練變得非常困難。對于粗粒度計算，需要告訴互聯才能進行訓練，規(guī)模依舊有限且成本高昂。所以Celebras Systems設計了專門為神經網絡原語優(yōu)化的核心，這種核心可編程、可以快速進行西數計算，而且具有高速互聯能力。Celebras Systems設計了非常靈活的內核，而且可以高效的處理張量運算。

該公司表示，它已經解決了之前困擾晶圓片規(guī)模設計的問題，如成品率（它繞過缺陷），并發(fā)明了對抗熱效應的封裝。

Cerebras已經籌集了超過2億美元的資金，此前曾表示，他們的rack系統正在少數幾個客戶數據中心運行。

Cambricon寒武紀

Cambricon是中國最早的人工智能芯片公司之一，但絕不是最后一家。Cambricon是2016年由中國科學院的兩名研究員創(chuàng)立。

由于CPU和通用GPU （GPGPU）指令集在加速神經網絡方面缺乏靈活性，他們開發(fā)了自己的指令集架構（ISA），這是一種集成了標量、向量、矩陣、邏輯、數據傳輸和控制指令的負載存儲架構。

Cambricon的第一款產品Cambricon-1A被用于數千萬部智能手機，以及無人機和可穿戴設備等其他終端設備。如今，第二代芯片包括云計算的兩部分和邊緣計算芯片——思源220。這種邊緣芯片的設計是為了填補該公司在邊緣計算產品組合中的空白。思遠220標志著寒武紀實現了云、邊、端的全方位立體覆蓋。MLU220是一款專門用于邊緣計算應用場景的AI加速產品（邊緣人工智能加速卡）。產品集成4核ARM CORTEX A55，LPDDR4x內存及豐富的外圍接口。用戶既可以使用MLU220作為AI加速協處理器，也可以使用其實現SOC方案。

Cambricon（以及Horizon Robotics，見下文）目前是全球最有價值的芯片初創(chuàng)企業(yè)之一：該公司迄今已融資2億美元，使其市值達到25億美元左右。

端點處的AI

“端點”是指網絡末端的設備，數據在收集數據的同一設備內處理。這包括從安全攝像頭到消費電子產品和家用電器的一切。當然，由于一些設備既可以用作網關，也存在一些灰色地帶，也可以用作端點（比如自動駕駛汽車或智能手機）。

Hailo

Hailo于2017年在以色列特拉維夫成立，由前以色列國防軍精英情報單位成員創(chuàng)建。該公司約有60名員工，迄今已融資2100萬美元。

Hailo的AI協同處理器Hailo-8可以處理26臺電腦，功率效率為2.8臺/W。應用目標是ADAS和自動駕駛。它的結構混合了記憶塊、控制塊和計算塊，并通過軟件分配相鄰塊來計算神經網絡的每一層。減少芯片內外的數據傳輸有助于節(jié)約電能。

Hailo表示他們的Hailo-8將勝過所有其他邊緣處理器，并且尺寸更小，小于一分錢硬幣，內存需求更少。而且除了計算外，它還集成了內存和控制功能。

公司通過設計一種依賴于神經網絡核心特性的架構，邊緣設備現在可以比傳統解決方案更高效，更有效，更具持續(xù)性地運行深度學習應用程序，同時顯著降低成本。

由于功能強大的軟件開發(fā)套件（SDK）和新型散熱設計，無需主動冷卻，Hailo-8在幾個AI語義分割和對象檢測基準測試中優(yōu)于英偉達的Xavier AGX，包括ResNet-50。

在圖像分辨率為224 x 224的初步測試中，與Xavier AGX的每秒656幀相比，Hailo-8每秒處理672幀。

Hailo-8預計在2020年上半年開始批量生產。

Kneron

Kneron在圣地亞哥和***擁有150名員工，并獲得了7300萬美元的資金，Kneron是首批在2019年5月將硅推向市場的初創(chuàng)公司之一。該公司已經有幾個客戶宣布了其第一代KL520芯片，并在2019年創(chuàng)造了“數百萬美元”的收入。

KL520針對卷積神經網絡（CNN）進行了優(yōu)化，可以在0.5W下運行0.3個TOPS （相當于0.6 TOPS/W）。這已經足夠用于IP安全攝像頭中的面部識別，也可用于智能門鎖和門鈴。據介紹，以這款 KL520 芯片來說，它不僅僅在規(guī)格、性能上領先，還有在成本上能實現比較好的平衡，讓方案擁有更全面的競爭力；其次在智能門鎖特別是人臉識別智能門鎖的高速成長階段，選用 KL520，以更低的門檻切入，有機會快速搶占市場。

該公司最初生產用于面部識別的神經網絡，現在又為其神經處理單元（NPU）提供這些網絡和IP。該公司表示，第二代芯片將于今年夏天問世，它將能夠加速CNN和遞歸神經網絡（RNN）。在 KL520 性能的支持下，耐能還能將這個芯片應用到更多的領域中，但耐能并不滿足于此，他們現在已經規(guī)劃了更強的 28nm 和 16nm 產品，展望為未來的 AI 市場帶來更多的可能。

Mythic

Mythic于2012年在密歇根大學成立。該公司目前位于得克薩斯州奧斯汀市，已經籌集了8，600萬美元來開發(fā)其模擬計算芯片，該芯片使用基于閃存晶體管的處理器存儲技術，在功率、性能和成本方面都優(yōu)于CPU和GPU。

內存處理器并不是什么新技術，但Mythic表示，它已經解決了一些棘手的補償和校準技術，這些技術可以消除噪聲，并允許可靠的8位計算。Mythic計劃銷售獨立芯片以及多芯片處理卡。由于該設備可以處理30幀/秒的高清視頻圖像處理，Mythic的主要目標市場之一是安全攝像頭和用于安全攝像頭系統的現場聚合器。

地平線

Horizon Robotics 于2015年在中國北京成立，這家初創(chuàng)公司到2019年底已經籌集了大約6億美元，公司估值為30億美元。如今，Horizon Robotics擁有500多名員工，擁有600多項專利。

Horizon Robotics的BPU（大腦處理單元）最初是為計算機視覺應用而設計。第二代BPU是一個64位多指令多數據（MIMD）核心，可以處理所有類型的神經網絡（不僅僅是卷積網絡）。它使用該公司的稀疏神經網絡來預測物體的運動和場景解析。第三代將為決策算法和深度學習之外的其他AI部分增加加速功能。

Horizon Robotics有兩條芯片產品線：汽車版Journey和AIoT版Sunrise。第一代Journey和Sunrise芯片于2017年12月發(fā)布，第二代基于BPU 2.0的芯片將于2019年秋季發(fā)布。Journey 2.0為L3/L4自動駕駛提供典型功耗2W情況下可提供4TOPS的性能。并結合Horizon自己的感知算法，實現了90%的核心利用率。

Journey 2.0處理器2019年初流片成功，采用臺積電28nm HPC+工藝，基于地平線自主研發(fā)的BPU 2.0架構，集成了2個Cortex-A53核心，典型功耗2W下就可以提供4TOPS的性能，是同等級GPU的10倍以上。

此外，基于BPU 3.0架構的第三代征程處理器Journey 3.0，專為自動駕駛和域控制器打造，同樣符合AEC-Q100和ISO 26262車規(guī)級標準，而預計明年發(fā)布的Matrix 3.0自動駕駛計算平臺也會使用征程三代處理器，算力提升到192TOPS，具備支持ASIL D的系統應用場景的能力。

物聯網中的人工智能（TinyML）

在這一類，我們考慮微控制器級別的計算機芯片，它們在資源受限的環(huán)境中以超低功耗運行。在這些情況下，端點設備上的人工智能推斷非常有吸引力，因為它增加了延遲，節(jié)省了帶寬，幫助保護隱私，并節(jié)省了與數據到云的RF傳輸相關的能量。

GreenWaves

GreenWaves是位于法國格勒諾布爾的博洛尼亞大學的一個分支，它在一個超低功耗ML應用處理器中使用了多個RISC-V核心，用于電池供電的傳感設備。該公司依賴于其自定義指令集擴展，以方便DSP操作和人工智能加速的最低功耗。GreenWaves是最早為業(yè)界提供高度差異化技術和市場定位的RISC-V芯片供應商之一，以滿足市場對RISC-V指令集架構日益增長的需求

GreenWaves作為ARM的競爭對手，將其擁有的專利RISC架構授權給許多芯片設計公司使用。而ARM銷售的知識產權可以結合到芯片制造商制作的芯片中。

2018年他們推出了全球首款物聯網應用處理器——GAP8，該處理器是業(yè)界首款在物聯網（IoT）應用中實現可以用電池長期供電人工智能（AI）的超低功耗處理器，可以在傳感設備中進行低功率AI處理，芯片基RISC-V與PULP的完全可編程并行運算架構，以應對機器學習算法最新技術的快速發(fā)展。

GreenWaves的第二代產品GAP9使用了10個核心。其中，1個用作fabric控制器， 9個構成計算集群，控制器和集群位于不同的電壓和頻率域中，因此它們僅在必要時才消耗電能。它還利用了最先進的FD-SOI（完全耗盡的絕緣體上的硅）工藝技術，進一步降低功耗。

GAP9的樣品將于2020年上半年到達。

Eta Compute

Eta Compute為超低功耗物聯網設備中的AI處理設計了兩個核心—Arm Cortex-M3+一個DSP。兩個核心都使用了動態(tài)電壓和頻率縮放技術，以盡可能低的功率水平運行，這是在沒有鎖相環(huán)的情況下實現的。AI工作負載可以運行在任何一個核心上，也可以運行在兩個核心上（這是由軟件分配）。使用這種技術，在線圖像處理和傳感器融合可以實現功率預算100μw。

Eta Compute還為運行在ECM3532設備上的超低功耗應用優(yōu)化了神經網絡。ECM3532為雙核（Arm Cortex-M3和NXP CoolFlux DSP）SoC，可支持用于電池供電或能源采集設計的微瓦級傳感器融合應用。它以僅100μW的功率可實現物聯網中的在線圖像處理和傳感器應用，號稱能效是其競品的100-1000倍。

Eta Compute成立于2015年，在美國和印度有35名員工，迄今已籌集了1900萬美元資金。樣品已經問市。