西井科技發(fā)明的AI芯片結(jié)構(gòu)，利用同一種卷積引擎硬件結(jié)構(gòu)來(lái)適配多種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，從而有效的提高了乘法器資源的利用率以及實(shí)現(xiàn)了數(shù)據(jù)的動(dòng)態(tài)分布。

西井科技成立于2015年，從研發(fā)類(lèi)腦芯片起步，專(zhuān)注于AI芯片和算法的研發(fā)落地。2016年，通過(guò)將技術(shù)和產(chǎn)品相結(jié)合方式服務(wù)于智慧港口，利用人工智能技術(shù)來(lái)完成各種復(fù)雜任務(wù)，提高港口自動(dòng)化程度。

而其解決港口客戶(hù)對(duì)碼頭的智能化升級(jí)需求，并服務(wù)于集裝箱數(shù)據(jù)智能識(shí)別、無(wú)人駕駛等項(xiàng)目，重點(diǎn)依靠的技術(shù)就是其自主研發(fā)的AI芯片。AI芯片主要應(yīng)用于人工智能領(lǐng)域，其主要使用的算法就是神經(jīng)網(wǎng)絡(luò)算法。

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周?chē)鷨卧?，?duì)于大型圖像處理有出色表現(xiàn)。它主要包括卷積層和池化層，目前，卷積神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于圖像分類(lèi)、物體識(shí)別、目標(biāo)追蹤。

但是對(duì)于卷積神經(jīng)網(wǎng)絡(luò)的處理芯片，還存在著一系列的問(wèn)題需要研究人員們?nèi)ソ鉀Q，例如如何通過(guò)乘法器和加法器的排布、設(shè)計(jì)提高乘法器資源的利用率，且根據(jù)不同的卷積核的尺寸實(shí)現(xiàn)不同的乘法器資源分配，以實(shí)現(xiàn)數(shù)據(jù)的動(dòng)態(tài)分布。

為此，西井科技在2020年6月24日申請(qǐng)了一項(xiàng)名為“芯片結(jié)構(gòu)及其乘加計(jì)算引擎”的發(fā)明專(zhuān)利（申請(qǐng)?zhí)枺?02010587029.X），申請(qǐng)人為上海西井信息科技有限公司。

根據(jù)該專(zhuān)利目前公開(kāi)的資料，讓我們一起來(lái)看看這項(xiàng)AI芯片技術(shù)吧。

由于乘加計(jì)算引擎中包括多個(gè)卷積引擎，而卷積引擎又包括多個(gè)乘法器和加法器，如上圖，為卷積引擎應(yīng)用于尺寸為3*3的卷積核的示意圖。3*3的卷積大小是目前主流神經(jīng)網(wǎng)絡(luò)模型中經(jīng)常使用的，每個(gè)卷積引擎包括15*M*4個(gè)乘法器，每個(gè)卷積組11包括3行4列乘法器且對(duì)應(yīng)一個(gè)卷積核計(jì)算，因此5組卷積組同時(shí)可以支持5個(gè)不同的卷積核并行計(jì)算。

而上圖只是一個(gè)以3*3卷積核為例的示例，在神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，還有5*5、7*7等常用卷積核，因此該專(zhuān)利對(duì)于其大小并沒(méi)有進(jìn)行限制，每個(gè)卷積引擎在應(yīng)用于卷積核時(shí)，可以按照卷積核的尺寸劃分為多個(gè)卷積組，每個(gè)卷積組的乘法器的行數(shù)與卷積核的行數(shù)一致，每個(gè)卷積組的乘法器的列數(shù)為N，這樣就可以根據(jù)不同的卷積核的尺寸實(shí)現(xiàn)不同的乘法器資源分配，進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)的動(dòng)態(tài)分布。

如上圖，為這種卷積引擎的示意圖，可以看到其具有多個(gè)輸入特征圖通道，這是為了當(dāng)輸入的特征圖具有較高維度時(shí)可以進(jìn)行并行加速。此外，這種卷積引擎還可以進(jìn)行M倍于輸入特征通道的并行加速，每個(gè)卷積組輸出的N行部分累加值可以疊加到下一層的輸入中，這與神經(jīng)網(wǎng)絡(luò)算法的設(shè)計(jì)也是相一致的。

考慮到常用的主流卷積神經(jīng)網(wǎng)絡(luò)模型，輸入特征通道的數(shù)量通常以偶數(shù)出現(xiàn)，一般是2的n次方的形式。由此，可以利用16個(gè)卷積組，用于支持16個(gè)不同的輸入特征圖的通道進(jìn)行計(jì)算。

圖中所展示的16個(gè)不同的輸入特征圖，以一個(gè)輸入像素點(diǎn)為例，一個(gè)輸入像素點(diǎn)要進(jìn)行16個(gè)通道的數(shù)據(jù)乘加，也就是16個(gè)乘法和M/2個(gè)加法，而在硬件的角度進(jìn)行實(shí)現(xiàn)時(shí)，需要設(shè)計(jì)硬件加速方案，這種硬件加速方案由卷積引擎組成多級(jí)聯(lián)結(jié)構(gòu)，每組級(jí)聯(lián)結(jié)構(gòu)包括M/2個(gè)級(jí)聯(lián)的處理單元，如下圖所示。

如圖，為處理單元的示意圖，每個(gè)處理單元50包括第一輸入接口511至第五輸入接口515、第一觸發(fā)器531至第五觸發(fā)器535、兩個(gè)乘法器（541和542）以及兩個(gè)加法器（551和552），此外，該結(jié)構(gòu)還具有輸出接口、時(shí)鐘信號(hào)和觸發(fā)器等部件。

第一輸入接口至第四輸入接口分別與第一至第四觸發(fā)器相連，時(shí)鐘信號(hào)也與觸發(fā)器相連，用于開(kāi)啟觸發(fā)器，從而控制處理器進(jìn)行乘加運(yùn)算。

而在16個(gè)輸入特征通道的例子中，可以使用8個(gè)級(jí)聯(lián)的方式來(lái)完成一個(gè)像素點(diǎn)在16個(gè)通道內(nèi)的乘加運(yùn)算，具體的連接方式如下入所示：

可以看到級(jí)聯(lián)的處理單元的輸出結(jié)果為一個(gè)輸入特征圖像素點(diǎn)的16通道乘累加結(jié)果，在這個(gè)架構(gòu)下，以3*3的卷積核為例，9個(gè)輸入像素點(diǎn)的16個(gè)輸入特征通道值進(jìn)行相加，在6個(gè)時(shí)鐘周期下生成最終的卷積操作的運(yùn)算結(jié)果。

以上就是西井科技發(fā)明的AI芯片結(jié)構(gòu)，這種硬件結(jié)構(gòu)的特點(diǎn)就在于，利用不變的卷積引擎，應(yīng)用在不同神經(jīng)網(wǎng)絡(luò)、不同大小的卷積核中。從而可以有效的提高乘法器資源的利用率，并且根據(jù)不同的卷積核的尺寸可以實(shí)現(xiàn)不同的乘法器資源分配，也就可以做到數(shù)據(jù)的動(dòng)態(tài)分布，達(dá)到需要的計(jì)算方式。

關(guān)于嘉德

深圳市嘉德知識(shí)產(chǎn)權(quán)服務(wù)有限公司由曾在華為等世界500強(qiáng)企業(yè)工作多年的知識(shí)產(chǎn)權(quán)專(zhuān)家、律師、專(zhuān)利代理人組成，熟悉中歐美知識(shí)產(chǎn)權(quán)法律理論和實(shí)務(wù)，在全球知識(shí)產(chǎn)權(quán)申請(qǐng)、布局、訴訟、許可談判、交易、運(yùn)營(yíng)、標(biāo)準(zhǔn)專(zhuān)利協(xié)同創(chuàng)造、專(zhuān)利池建設(shè)、展會(huì)知識(shí)產(chǎn)權(quán)、跨境電商知識(shí)產(chǎn)權(quán)、知識(shí)產(chǎn)權(quán)海關(guān)保護(hù)等方面擁有豐富的經(jīng)驗(yàn)。
責(zé)任編輯:tzh