上海潤欣科技股份有限公司創(chuàng)研社

前言

聲音本來就是最天然的人機(jī)交互方式，但在之前漫長的時(shí)間里面，受限于語音識別，人工智能網(wǎng)絡(luò)寬帶等因素，并沒有成為主流。但從2017年開始，AI,語音識別，網(wǎng)路應(yīng)用，移動APP，這幾樣已經(jīng)發(fā)展成熟，萬事俱備，語音智能的應(yīng)用正好趁著東風(fēng)迅速發(fā)展起來，而且智能音箱表面看似乎只是一款音箱，但實(shí)際上有更戰(zhàn)略性的作用，也就是說實(shí)際上是智能家庭的入口，借助于物聯(lián)網(wǎng)技術(shù)，智能音箱實(shí)際上成為了智能家庭連接互聯(lián)網(wǎng)的網(wǎng)關(guān)，是家庭互聯(lián)網(wǎng)交互的人機(jī)界面，正因?yàn)槿绱?，我們可以看到幾乎所有的互?lián)網(wǎng)巨頭都不遺余力的發(fā)展自己的智能音箱產(chǎn)品，因?yàn)檎l搶占了智能家庭的入口，誰就可以把握先機(jī)，在此基礎(chǔ)上布置本公司的家電產(chǎn)品生態(tài)鏈。

我們通過拆解市面上已經(jīng)有的一些產(chǎn)品來分析，然后對于語音子系統(tǒng)會有一個(gè)詳細(xì)的案例。首先我們來看一下，智能音箱產(chǎn)品的系統(tǒng)構(gòu)成以及工作中的信息流動。首先智能音箱區(qū)別于傳統(tǒng)的AI產(chǎn)品。它不是一個(gè)孤立的存在，它們實(shí)質(zhì)是一個(gè)互聯(lián)網(wǎng)的智能終端。

先通過麥克風(fēng)陣列時(shí)刻采集語音，然后對語音進(jìn)行降噪等加工，然后做關(guān)鍵字識別，例如：homepad Hisiri或者 “天貓精靈”，“小愛同學(xué)”之類的關(guān)鍵詞，一旦識別關(guān)鍵詞之后，就會對后面采集到的語音數(shù)據(jù)進(jìn)行壓縮編碼，通過互聯(lián)網(wǎng)傳到云端，云端的AI服務(wù)器具有強(qiáng)大的運(yùn)算能力，對語音指令進(jìn)行識別，然后根據(jù)指令來做相應(yīng)的回復(fù)，例如傳回語音回復(fù)，傳回一首歌的流媒體數(shù)據(jù)，或者傳回對家中聯(lián)網(wǎng)的物聯(lián)網(wǎng)終端的控制，例如開關(guān)空調(diào)等動作。智能音箱收到媒體流數(shù)據(jù)后進(jìn)行解碼驅(qū)動，揚(yáng)聲器播放語音回復(fù)，手到家電控制指令后通過WIFI,BT來轉(zhuǎn)發(fā)到被控制的家電。所以這個(gè)工作的數(shù)據(jù)流還是很清晰的。

在產(chǎn)品架構(gòu)上面，首先，這是一臺嵌入式電腦，因?yàn)樯婕暗浇翟氲?a href="http://m.makelele.cn/v/tag/2562/" target="_blank">算法，以及流媒體編解碼和播放功能，通常有一顆運(yùn)算能力相當(dāng)強(qiáng)勁的處理器內(nèi)核，目前主流的ARM架構(gòu)是四核或者八核的CORTEX-A7處理器，浮點(diǎn)的運(yùn)算能力強(qiáng)勁，以及1G以上的ARM空間，外部搭配8G的EMMC或者NANDFLASH等閃存外設(shè)，用于存儲應(yīng)用的數(shù)據(jù)。外圍則有兩個(gè)主要的子系統(tǒng)，一個(gè)是語音處理子系統(tǒng)，一個(gè)是無線通信子系統(tǒng)，其中無線通信子系統(tǒng)輔助WIFI和BT通信，通過WIFI連接到無線AP和云端，或者在沒有公網(wǎng)的情況下和無線局域網(wǎng)中的其他智能家電通過WIFI來交互。WIFI通信的吞吐量達(dá)，可以傳大流量的流媒體數(shù)據(jù)是智能音箱的聯(lián)網(wǎng)基礎(chǔ)。藍(lán)牙這一部分通常通過經(jīng)典藍(lán)牙作為手機(jī)和外設(shè)交互數(shù)據(jù)，通過BLEMESH或者傳統(tǒng)的BLE一拖多的方式和家庭網(wǎng)關(guān)的其他智能設(shè)備交互?？梢灶A(yù)見未來無限通信部分還可能引入ZIGBEE模式作為網(wǎng)關(guān)來連接ZIGBEE燈之類的智能家居產(chǎn)品。

然后就是語音子系統(tǒng)，又分為輸入和輸出兩塊，輸入通常是一個(gè)麥克風(fēng)陣列，用于拾取聲音數(shù)據(jù)，輸出通常是IIS/PCM接口的音頻CODEC芯片，通過音頻功效進(jìn)行功率放大后驅(qū)動一個(gè)4歐、8歐尺寸揚(yáng)聲器，當(dāng)然語音和機(jī)械結(jié)構(gòu)高度相關(guān)，因此除了電子部分外，音腔的設(shè)備，麥克風(fēng)的位置，陣列結(jié)構(gòu)也是很重要的。

除了內(nèi)核，無線，語音三個(gè)主要板塊外，還有一些其他輔助性的外設(shè)，比如LED燈，指示和背景燈，8D卡存儲,USB接口以及充電和電源管理系統(tǒng)。

在聲學(xué)結(jié)構(gòu)上面，在設(shè)計(jì)的時(shí)候要注意麥克風(fēng)和揚(yáng)聲器的結(jié)構(gòu)設(shè)計(jì),對于麥克風(fēng)：

1） 人聲能直達(dá)每個(gè)麥克，避免掩蔽效應(yīng)，即產(chǎn)品正常使用場景下，保證聲源的直達(dá)聲（非反射聲）到達(dá)每個(gè)麥克的機(jī)會是均等的，舉例，麥克風(fēng)震膜背對人的嘴巴就可能會形成掩蔽效應(yīng)；

2） 聲音到達(dá)麥克風(fēng)的路徑盡可能短、寬，要求諧振點(diǎn)頻率在8KHz以上。對于緊貼面殼安裝方式，要求聲孔的深度(面殼進(jìn)聲孔外側(cè)到MIC進(jìn)聲孔外側(cè)的距離)小于1.5mm，聲孔直徑盡可能大（最小2mm）。如果麥克能直接在表面最好；

3） 聲音路徑內(nèi)不要存在任何空腔，對于緊貼面殼安裝方式，震膜和殼體內(nèi)壁不要有縫隙；

4） 麥克風(fēng)要遠(yuǎn)離干擾或震動（喇叭震動、結(jié)構(gòu)轉(zhuǎn)動震動）。對于震動，一般采用硅膠套進(jìn)行減震密封處理，硅膠軟硬度可根據(jù)實(shí)際結(jié)構(gòu)形式進(jìn)行匹配驗(yàn)證，一般要求盡可能軟；

5） 對于駐極體麥克風(fēng)，結(jié)構(gòu)設(shè)計(jì)和生產(chǎn)過程中要考慮對麥克風(fēng)的保護(hù)，避免擠壓引發(fā)的麥克風(fēng)一致性損失；

對于揚(yáng)聲器：

1） 喇叭的失真要小，100Hz-1kHz失真要小于10%，1kHz之后小于5%。一般喇叭在低頻部分失真會較高，超過10%，建議加濾波器濾除低頻成份。

2） 喇叭的結(jié)構(gòu)設(shè)計(jì)要避免結(jié)構(gòu)引發(fā)的失真，喇叭要進(jìn)行減震處理，避免結(jié)構(gòu)震動對麥克造成較大影響。

3） 喇叭腔體四周與其它機(jī)構(gòu)件至少保留1mm的間距，振膜上方與機(jī)構(gòu)件至少保留1.5mm的間隙，防止喇叭碰到結(jié)構(gòu)件產(chǎn)生振動和異音。

4） 避免結(jié)構(gòu)內(nèi)聲音傳播，即喇叭的聲音不能在結(jié)構(gòu)內(nèi)泄露到麥克，只能通過結(jié)構(gòu)外的空氣傳播到麥克，建議喇叭和麥克風(fēng)放在不同腔體內(nèi)或選用性能好的密封材料對腔體內(nèi)麥克部分進(jìn)行密封；

語音子系統(tǒng)的框架結(jié)構(gòu)如下圖所示：

目前在開源硬件領(lǐng)域，有一些非常具有參考價(jià)值的實(shí)現(xiàn)，比如Respeaker就是一個(gè)注明的智能語音系統(tǒng)的開源實(shí)現(xiàn)。

Resepeker 2-MIC Array

這款麥克風(fēng)陣列使用WM8960作為codec。

Resepeker 4-MIC Array

芯智匯AC108 高性能四通道數(shù)據(jù)轉(zhuǎn)換器ADC，主要應(yīng)用于智能語音遠(yuǎn)場麥克風(fēng)陣列拾音，最多可級聯(lián)16路麥克風(fēng)。AC108的SNR為108dB

Respeaker 6-MIC Array

芯智匯AC108 高性能四通道數(shù)據(jù)轉(zhuǎn)換器ADC + AC101 DAC

Respeaker Core 2.0

Rockchip 瑞芯微RK3229單芯片方案,內(nèi)部集成音頻處理單元

除了上述麥克風(fēng)陣列方案之外，還可以使用DSP方案來做語音處理，這里介紹一款專用的語音DSP方案，Realtek ALC5680.

上面可以看到此DSP芯片的參數(shù)以及硬件封裝。

使用DSP 芯片可以將前級的音頻輸出做前期處理，從而大大減少了ARM處理器的負(fù)荷，在低功耗解決方案中是常用的配置。

在軟件處理上面，當(dāng)前有一些開源的實(shí)現(xiàn)可供參考：

GNU/Linux OS

speech algorithms

- DoA (Direction of Arrival)

- BF (Beam-Forming)

- AEC (Acoustic Echo Cancellation)

- KWD Keyword wake-up

- NS(Noise suppression)

- AGC (Automatic gain control)

基于Linux系統(tǒng)，有較多的語音處理算法。

在AI 上面，目前主要的生態(tài)系統(tǒng)有 Amazon Google DuerOS等。

AI Ecosystem

- Amazon Alexa

- Google Assistant

- DuerOS

- Etc.