隨著我們朝著更加無處不在、始終在線的傳感和計(jì)算邁進(jìn)，電源變得越來越重要?；蛟S沒有比我們辦公桌上、口袋里和家中分布的聲控設(shè)備更能說明這一點(diǎn)的重要例子了。正如我們?nèi)ツ晁吹降?，關(guān)鍵詞識別目前是各種神經(jīng)形態(tài)技術(shù)的目標(biāo)。

硅耳蝸

2020 年 Misha Mahowald 神經(jīng)形態(tài)工程獎(jiǎng)的獲得者是劉世琦教授和她的團(tuán)隊(duì)，他們一直致力于研究用于檢測語音的低延遲、低功耗傳感器。神經(jīng)信息學(xué)研究所 (INI) 的 Shih-Chii Liu 和她的團(tuán)隊(duì)一直在開發(fā)的動(dòng)態(tài)音頻傳感器最終可能會解決這個(gè)市場。它們的核心是一個(gè)硅耳蝸，旨在模仿生物學(xué)。首先，使用一組模擬帶通濾波器將傳入的聲音過濾到頻率通道中，其輸出經(jīng)過半波整流?？傊@模擬了耳朵中毛細(xì)胞的功能。

在傳統(tǒng)的音頻系統(tǒng)中，首先使用模數(shù)轉(zhuǎn)換器對聲音進(jìn)行轉(zhuǎn)換，然后使用數(shù)字快速傅里葉變換 (FFT) 和帶通濾波 (BPF) 提取特征。這些由運(yùn)行語音活動(dòng)檢測 (VAD) 或自動(dòng)語音識別算法的數(shù)字信號處理器 (DSP) 處理。B. 在 INI-Zurich 動(dòng)態(tài)音頻傳感器中，信號作為模擬音頻帶從具有特征和變化被接收，并行編碼成異步尖峰（事件）序列，然后對其進(jìn)行處理。

正如生物學(xué)中發(fā)生的那樣，不同的通道隨后準(zhǔn)備好在大腦中進(jìn)行處理。在耳朵中，神經(jīng)節(jié)細(xì)胞將信號編碼為一股化學(xué)離子：在硅耳蝸中，它們變成電尖峰。這可以使用經(jīng)典的集成和觸發(fā)功能或異步增量調(diào)制器 (ADM) 來完成，它將信號與兩個(gè)閾值進(jìn)行比較，并在這些閾值通過時(shí)發(fā)送適當(dāng)?shù)氖录?，因此充?dāng)特征提取器。由于忽略了不變的信號，因此傳遞到下一階段的冗余信息量減少了。

從功率的角度來看，如果什么都沒發(fā)生，硅耳蝸幾乎不會消耗任何能量，但隨著活動(dòng)的增加，尖峰的數(shù)量也會增加。根據(jù)應(yīng)用程序的不同，這可能是一個(gè)巨大的優(yōu)勢（如果有很多聆聽但很少采取行動(dòng)）或根本沒有優(yōu)勢（當(dāng)有相關(guān)的東西一直需要解碼時(shí)）。

然而，作為在低 μW 范圍內(nèi)工作的音頻傳感器，該芯片可以為系統(tǒng)設(shè)計(jì)人員提供一個(gè)提高電源效率的寶貴選擇。它還允許非常高的動(dòng)態(tài)范圍，因?yàn)榧夥逶谶B續(xù)時(shí)間內(nèi)運(yùn)行，幾乎可以無限遠(yuǎn)地分開或靠近。

語音識別

這項(xiàng)工作的一個(gè)關(guān)鍵部分是證明有用性。具體來說，硅耳蝸產(chǎn)生的事件流可用于實(shí)際應(yīng)用，如語音活動(dòng)檢測、關(guān)鍵字識別的第一階段。Liu 和她的團(tuán)隊(duì)通過使用事件輸出創(chuàng)建 2D 數(shù)據(jù)幀成功地做到了這一點(diǎn)：到達(dá)峰值的直方圖，按頻率排列在幀的 5 毫秒內(nèi)。稱為耳蝸圖，這些可以被讀入神經(jīng)網(wǎng)絡(luò)并從那里解碼它們的含義。

Liu 表示，“在傳感器上使用深度網(wǎng)絡(luò)對 IEEE ISSCC 社區(qū)非常感興趣，并且考慮到當(dāng)前對音頻邊緣計(jì)算的巨大興趣，這非常及時(shí)?！?她說，已經(jīng)有很多關(guān)于低功耗 ASIC 用于關(guān)鍵字定位的論文，但這些論文使用的是傳統(tǒng)的類似頻譜圖的功能。她的目標(biāo)之一是“展示混合解決方案（混合模擬信號設(shè)計(jì)）可以產(chǎn)生具有更低延遲響應(yīng)的更低功耗設(shè)計(jì)解決方案。”

去年 INI 發(fā)布了一段視頻，展示了系統(tǒng)識別數(shù)字的過程（你可以從大約 2:06 看到 Liu）。它遠(yuǎn)非萬無一失，但它在系統(tǒng)開發(fā)中仍處于相對早期的階段。多年來，包括 Minhao Yang、Chang Gao、Enea Ceolini、Adrian Huber、Jithendar Anumula、Ilya Kiselev 和 Daniel Neil 的團(tuán)隊(duì)也嘗試了傳感器融合：Liu 和她的同事結(jié)合音頻和視覺信息進(jìn)行分類更可靠[1]。他們一直在發(fā)布初始設(shè)計(jì)規(guī)則，以選擇何時(shí)模擬傳感器具有優(yōu)勢以及何時(shí)最好堅(jiān)持使用數(shù)字傳感器 [2]。

Misha Mahowald，地址事件表示的發(fā)明者之一，神經(jīng)形態(tài)工程獎(jiǎng)就是以他的名字命名的。

另一項(xiàng)持續(xù)的努力涉及提高 DAS 的電源效率和性能。其中一部分涉及查看各個(gè)功能的實(shí)現(xiàn)，從基于源跟隨器的帶通濾波器到模擬特征提取器的設(shè)計(jì)。

減少模擬電子設(shè)備中可變性的影響是另一個(gè)重要的研究領(lǐng)域。他們說，為了解決這個(gè)問題，他們構(gòu)建了一個(gè)硬件仿真器，可以比使用 Cadence Virtuoso 等商業(yè)軟件更快地測試這些問題。通過從軟件而不是硬件訓(xùn)練他們用于分類的二元神經(jīng)網(wǎng)絡(luò)，他們能夠準(zhǔn)確預(yù)測一系列真實(shí)測試芯片的分類性能 [3]。他們現(xiàn)在正在考慮將噪聲添加到系統(tǒng)中作為可變性的代理，以使設(shè)計(jì)過程更加穩(wěn)健。

馬霍瓦爾德獎(jiǎng)

劉是神經(jīng)形態(tài)工程的早期研究人員之一。她不僅在加州理工學(xué)院 Carver Mead 的實(shí)驗(yàn)室工作（Mahowald 曾在那里工作過），而且當(dāng)該小組中的許多人離開加利福尼亞前往蘇黎世時(shí)，她還是神經(jīng)信息學(xué)研究所的創(chuàng)始人之一。

在獲獎(jiǎng)時(shí)，劉說：“我們非常榮幸能夠獲得這個(gè)獎(jiǎng)項(xiàng)，尤其是在神經(jīng)形態(tài)工程領(lǐng)域有這么多優(yōu)秀的研究人員。這項(xiàng)工作建立在 Dick Lyon、Carver Mead、Lloyd Watts、Rahul Sarpeshkar、Eric Vittoz 和 Andre van Schaik 的數(shù)十年早期硅耳蝸設(shè)計(jì)的基礎(chǔ)上?！?/p>

關(guān)于神經(jīng)形態(tài)工程的重要性，她說：“即使在摩爾定律結(jié)束時(shí)，數(shù)字計(jì)算也將落后于生物學(xué)的能源效率至少一千倍。因此，DAS 等混合模擬電子系統(tǒng)的潛在效率變得比以往任何時(shí)候都更加重要?！?/p>

參考

[1] D. Neil 和 SC Liu，“Effective sensor fusion with event-based sensors and deep network architectures”，載于Proceedings – IEEE International Symposium on Circuits and Systems，2016 年 7 月，第一卷。2016 年至 7 月，第 2282-2285 頁，doi：10.1109/ISCAS.2016.7539039。

[2] SC Liu、B. Rueckauer、E. Ceolini、A. Huber 和 T. Delbruck，“用于高效感知的事件驅(qū)動(dòng)傳感：視覺和試聽算法”，IEEE 信號處理。麥格。, 卷。36，沒有。6，第 29-37 頁，2019 年 11 月，doi：10.1109/MSP.2019.2928127。

[3] M. Yang, S.-C. Liu、M. Seok 和 C. Enz，“使用受耳蝸啟發(fā)的特征提取和 DNN 分類的超低功耗智能聲學(xué)傳感?！?/p>

[4] M. Yang、CH Chien、T. Delbruck 和 SC Liu，“用于事件驅(qū)動(dòng)立體聲音頻傳感的 0.5 V 55 μW 64 × 2 通道雙耳硅耳蝸”，IEEE J. 固態(tài)電路，卷. 51，沒有。11，第 2554-2569 頁，2016 年 11 月，doi：10.1109/JSSC.2016.2604285。

審核編輯 黃昊宇