在過去十年，視頻通話和語音設備的參與度大幅增加，主要是通過大流行造成的在家工作趨勢。但是，我們對視頻通話的使用不僅限于工作 Zoom 會議。我們現(xiàn)在正在使用視頻通話進行教學、鍛煉課程、體驗現(xiàn)場音樂、作為在會議上進行互動的工具等等。這種虛擬參與通過筆記本電腦、智能手機、平板電腦、家庭助理和其他物聯(lián)網(wǎng)設備（如 Amazon Echo Show、Facebook Portal、Peloton、Tempo Studio 等）進行。

限制令人愉快和引人入勝的交互式音頻、視頻通話或家庭助理體驗的一個因素是在存在噪音和其他干擾物的情況下保持一致的音質。設備智能管理聲音的能力決定了您的溝通能力。?

提高音頻和語音的復雜性需要新技術

被產(chǎn)品制造商稱為“智能聲音”的音頻智能是設備處理聲音以提供最佳用戶體驗的能力。隨著用于通信、娛樂和健康管理的語音優(yōu)先設備的增加，對具有更多功能的無縫、低障礙體驗的需求也在增加。

用戶現(xiàn)在希望設備能夠理解的不僅僅是簡單的喚醒或關鍵字（例如 Alexa），并尋求能夠以卓越的音質在設備和應用程序之間移動，以實現(xiàn)身臨其境的無縫體驗，無論是用于專業(yè)會議還是個人娛樂。設備應該能夠將您的語音和/或語音命令與您的個人偏好和環(huán)境數(shù)據(jù)相結合，以使聲音處理適應您的特定環(huán)境。這被稱為情境意識。

情境意識解釋

上下文感知設備結合用戶特定信息，例如位置、偏好和環(huán)境傳感器數(shù)據(jù)，以更好地了解用戶的要求并更準確地執(zhí)行功能以響應特定命令或觸發(fā)器。

常聽設備使用信號處理技術結合?機器學習?(ML) 來區(qū)分聲音類型，例如自然聲音、聲音、背景干擾等。這些聲音通常分為“場景”和“事件”。場景是用戶設置，例如嘈雜的機場航站樓或安靜的工作空間，而事件包括有人說話、玻璃破碎或狗吠。情境感知設備可以處理這些聲音組，以確保行動的意圖，無論是視頻通話還是語音命令，以獲得最佳體驗。

?

上下文感知系統(tǒng)示意圖（圖片：Knowles Corp.）

為什么要使用專用音頻邊緣處理器？

具有 ML 優(yōu)化內(nèi)核和專注于音頻保真度的專用音頻邊緣處理器是支持上下文感知和高質量音頻通信設備的關鍵。這些處理器可以提供足夠的計算能力來使用傳統(tǒng)和 ML 算法處理音頻，同時使用通用數(shù)字信號處理 (DSP) 實現(xiàn)的一小部分能量。

雖然云可能提供一些巨大的好處，但邊緣處理允許用戶隨時利用其設備的全部功能，而無需高帶寬的互聯(lián)網(wǎng)連接。例如，邊緣音頻處理器通過對具有上下文數(shù)據(jù)的音頻進行低延遲處理，同時保持上下文數(shù)據(jù)的本地和安全，從而在虛擬通信中實現(xiàn)卓越的用戶體驗。

了解專業(yè)的音頻邊緣處理器

音頻邊緣處理器必須具備多項功能才能提供卓越的音頻和語音命令體驗。

噪音和距離

波束成形，使用信號處理算法，將聲音集中或引導到特定方向，以提高音質，而噪聲抑制使日常場景中的對話成為可能。聽音設備確定語音和噪聲源的方向。ML 分類技術用于確定哪些波束中有語音或噪聲。

然后，DSP 將注意力集中在具有語音內(nèi)容的波束上，僅用于進一步的語音 UI 處理。例如，在會議系統(tǒng)中，設備必須識別聲音的方向，并且必須始終以 360 度的方式跟蹤多個揚聲器。噪聲源還可以分類用于音頻事件檢測，如玻璃破碎、火災警報等，進一步將其作用擴展到音頻感知智能家居系統(tǒng)。

接近檢測對于動態(tài)的聽力和口語體驗也是必不可少的。該設備檢測用戶靠近麥克風并調整麥克風的增益。此功能支持用于演示、鍛煉和學習環(huán)境的活動視頻會議。這些功能是高級視頻會議設備設計的核心，例如亞馬遜的新 Echo Show，它的屏幕隨著用戶的移動而旋轉，因此屏幕始終面向用戶。

潛伏

在我們開始互相交談之前，人類?通?？梢匀萑?長達 200 毫秒的端到端延遲。因此，邊緣處理器中的低延遲處理是確保高質量語音通信的關鍵要求。

能量消耗

采用專有架構、硬件加速器和特殊指令集設計的音頻邊緣處理器可以優(yōu)化運行音頻和機器學習算法。這些優(yōu)化有助于降低音頻密集型用例（如視頻會議）的功耗。

一體化

開放其架構和開發(fā)環(huán)境的音頻邊緣處理器通過為音頻應用程序開發(fā)人員提供創(chuàng)建新設備和應用程序的工具和支持來加速創(chuàng)新。未來的音頻設備將是協(xié)作的成果。

安全

邊緣處理可以最大限度地減少對云連接的需求，并提供許多好處，包括提高數(shù)據(jù)安全性。例如，大多數(shù)消費者對來自個人智能家居設備的數(shù)據(jù)不斷傳輸?shù)皆贫诉M行處理感到不舒服。?過去幾年領先設備制造商的幾起重大違規(guī)事件已證明這些擔憂是真實?的。

在設備上處理個人數(shù)據(jù)以進行分析或推理時，可以讓您高枕無憂。一個很好的例子是智能家居安全設備，它經(jīng)過訓練可以聽到某些事件的聲音，例如玻璃破碎，作為提醒房主的觸發(fā)器。由于聲音和警報的處理發(fā)生在邊緣處理器上，它不需要持續(xù)連接到云端，從而增強了系統(tǒng)的安全性。

結論

專用的音頻邊緣處理器將定義下一代音頻和語音設備，創(chuàng)造更多的情境感知、身臨其境和無縫的音頻通信體驗。它們能夠實現(xiàn)低功耗和低延遲語音通信的高效處理、降噪、上下文感知和傳感器輸入的加速 ML 推理，這為人機界面新用戶體驗的爆炸式增長提供了可能性。

關于作者：

Raj Senguttuvan 是一位具有電氣工程背景的成功創(chuàng)新和商業(yè)領袖。Raj 在消費和工業(yè)應用的新技術開發(fā)、早期業(yè)務開發(fā)以及多家半導體公司的項目管理方面擁有超過 15 年的經(jīng)驗。

作為 Knowles 戰(zhàn)略營銷總監(jiān)，Raj 負責指導音頻解決方案戰(zhàn)略、推動風險投資和合作伙伴關系以及物聯(lián)網(wǎng)和消費技術（包括音頻處理器、算法、麥克風、傳感器和接收器）的營銷。

Raj 擁有康奈爾大學的 MBA 學位和佐治亞理工學院的電氣工程博士學位。

Vikram Shrivastava 在半導體和技術行業(yè)的產(chǎn)品營銷、戰(zhàn)略和管理方面擁有近 30 年的經(jīng)驗。Vikram 在電氣工程方面的教育背景，特別是在控制系統(tǒng)和硅設計方面，使他能夠理解、執(zhí)行和傳達適合工程師、開發(fā)人員和 OEM 的技術需求的營銷策略。

Vikram 目前擔任 Knowles 物聯(lián)網(wǎng)營銷高級總監(jiān)一職，他開發(fā)戰(zhàn)略和產(chǎn)品，以使物聯(lián)網(wǎng)平臺具有智能語音功能。

Vikram 擁有加州大學伯克利分校哈斯商學院的 MBA 學位。

審核編輯 黃昊宇