第二十八屆中國(guó)國(guó)際廣播電視信息網(wǎng)絡(luò)展覽會(huì)(以下簡(jiǎn)稱(chēng)CCBN2021)于2021年5月28日至30日在北京中國(guó)國(guó)際展覽中心（靜安莊館）舉行。思必馳IoT家電線產(chǎn)品總監(jiān)于鵬偉受邀參加并帶來(lái)了精彩主題分享，全面展示思必馳語(yǔ)音技術(shù)情況以及多模態(tài)技術(shù)在帶屏終端的應(yīng)用與經(jīng)驗(yàn)。

CCBN2021展會(huì)展覽面積60,000平米，設(shè)置專(zhuān)業(yè)展區(qū)20余個(gè)，舉辦會(huì)議論壇和專(zhuān)項(xiàng)活動(dòng)30余場(chǎng)，同步進(jìn)行線上展覽和會(huì)議交流。在5月28日同期舉辦的CCBN BDF2021智慧廣電+系列論壇——智能終端篇上，思必馳IoT家電線產(chǎn)品總監(jiān)于鵬偉進(jìn)行了題為《帶屏終端場(chǎng)景下的多模態(tài)交互》的主題分享，全面展示了思必馳語(yǔ)音技術(shù)情況以及多模態(tài)技術(shù)在帶屏終端的應(yīng)用與經(jīng)驗(yàn)。

在2021世界超高清視頻（4K/8K）產(chǎn)業(yè)發(fā)展大會(huì)上，工業(yè)和信息化部部長(zhǎng)肖亞慶表示，過(guò)去一年中，國(guó)內(nèi)4K超高清電視的市場(chǎng)占比超過(guò)了70%，同時(shí)8K電視也開(kāi)始加速滲透。

自去年以來(lái)，受疫情影響，民眾居家?jiàn)蕵?lè)需求提升，使得4K電視加速普及。據(jù)資料顯示，2020年國(guó)內(nèi)4K電視總銷(xiāo)量約為3338萬(wàn)臺(tái)，銷(xiāo)售額超過(guò)千億元。中國(guó)電子信息產(chǎn)業(yè)發(fā)展研究院院長(zhǎng)張立介紹稱(chēng)，未來(lái)8K電視將成為電視廠商旗艦產(chǎn)品的主流配置。

據(jù)Strategy Analytics統(tǒng)計(jì)，2020年全球8K電視的銷(xiāo)量低于預(yù)期，僅為35萬(wàn)臺(tái)。但到了2021年，這個(gè)數(shù)字有望突破百萬(wàn)。到2025年，8K電視將進(jìn)入全球范圍內(nèi)超過(guò)7200萬(wàn)個(gè)家庭之中，其中以北美和亞太地區(qū)占比最高。

于鵬偉在分享中提到，智能電視作為「客廳經(jīng)濟(jì)」中的核心代表產(chǎn)品，占據(jù)客廳場(chǎng)景最大的流量入口，一直是各大家電廠商爭(zhēng)奪的核心領(lǐng)域。思必馳依托智能語(yǔ)音行業(yè)深耕多年的經(jīng)驗(yàn)及關(guān)鍵技術(shù)優(yōu)勢(shì)，為智能電視打造流暢自然的語(yǔ)音入口+輸出，同時(shí)背靠DUI平臺(tái)，打通了超過(guò)300家第三方資源接口，為用戶(hù)提供全屋家居控制、交通出行、新聞資訊、生活?yuàn)蕵?lè)等各領(lǐng)域內(nèi)容服務(wù)。除此之外，于鵬偉還分別介紹了思必馳的AMAEC技術(shù)、TH1520芯片和多模態(tài)交互技術(shù)的應(yīng)用。

AMAEC，杜比全景聲效的最佳搭檔

AMAEC（AISpeech Multichannel Acoustic?Echo?Cancellation）是思必馳推出的多通道回聲消除技術(shù)，采用傳統(tǒng)信號(hào)處理方法結(jié)合深度學(xué)習(xí)網(wǎng)絡(luò)，對(duì)每一獨(dú)立的發(fā)聲通道建立專(zhuān)有濾波系統(tǒng)，使得多揚(yáng)聲器系統(tǒng)的回聲消除達(dá)到極佳效果。

思必馳AMAEC，適配4/6/8麥+N回路場(chǎng)景，保障中高端電視杜比全景聲效下的語(yǔ)音交互無(wú)障礙進(jìn)行。流暢自然智能語(yǔ)音交互與杜比全景聲絕妙體驗(yàn)雙管齊下，實(shí)為中高端智能電視更優(yōu)之選。

目前思必馳與電視領(lǐng)域頭部企業(yè)海信達(dá)成深度合作，海信及其子品牌東芝高端電視型號(hào)已全面搭載思必馳AMAEC技術(shù)，包括海信85U9E、海信75U9G Pro、海信85U7G max、東芝940、東芝840、東芝740等。

TH1520，系統(tǒng)CPU高占用的救星

TH1520是一款A(yù)I專(zhuān)用的雙核增強(qiáng)型低功耗DSP芯片。大容量片內(nèi)靜態(tài)存儲(chǔ)，多通道音頻解碼支持廣域采樣率，可以為上層SOC端的工作減輕壓力。另外，芯片支持低功耗模式和全速模式，實(shí)現(xiàn)毫瓦級(jí)待機(jī)功耗和百毫瓦級(jí)的全速工作功耗。

TH1520集成思必馳語(yǔ)音算法，家居噪音環(huán)境下可以實(shí)現(xiàn)5米遠(yuǎn)場(chǎng)喚醒率>95%，識(shí)別準(zhǔn)確率>92%，誤喚醒僅1次/48h（國(guó)際認(rèn)可1次/24h為優(yōu)秀水平）；支持喚醒詞自定義，可內(nèi)置本地指令數(shù)百條，響應(yīng)時(shí)間<500ms；背靠DUI平臺(tái)，可自選對(duì)接天氣、音樂(lè)、故事、百科、新聞等海量技能，云端服務(wù)無(wú)限制。

目前海信S7F社交電視、近日發(fā)布的樂(lè)視GS系列電視，也同樣搭載了TH1520語(yǔ)音專(zhuān)用芯片，在未來(lái)幾個(gè)月還會(huì)有大批搭載TH1520芯片的智能電視發(fā)布出貨。

多模態(tài)交互技術(shù)的應(yīng)用

于鵬偉表示，思必馳全鏈路語(yǔ)音交互技術(shù)在一般家居場(chǎng)景底下能夠?yàn)橛脩?hù)提供流暢的交互體驗(yàn)。

在一些特殊的場(chǎng)景底下，比如多位用戶(hù)在激烈的玩電子游戲、親朋好友聚會(huì)等，很容易出現(xiàn)多人同時(shí)交互的情況出現(xiàn)，此時(shí)純語(yǔ)音交互則很難對(duì)聲源進(jìn)行精準(zhǔn)判斷，交互成功率會(huì)直線下降。

針對(duì)周邊嘈雜干擾大、多人密集同時(shí)交互的情況，思必馳結(jié)合全鏈路語(yǔ)音交互技術(shù)及自研計(jì)算機(jī)視覺(jué)技術(shù)，推出多模態(tài)交互技術(shù)方案，根據(jù)視覺(jué)和音頻特征，通過(guò)多模態(tài)融合VAD分離出說(shuō)話(huà)人的目標(biāo)語(yǔ)音，拒識(shí)其他說(shuō)話(huà)人的聲音，從而實(shí)現(xiàn)輔助降噪、提高聲源定位的精準(zhǔn)度，即使說(shuō)話(huà)人在移動(dòng)狀態(tài)下也不受影響。

思必馳多模態(tài)交互技術(shù)方案還可以應(yīng)用在會(huì)議大屏、商場(chǎng)顯示大屏、地鐵購(gòu)票機(jī)等商用帶屏顯示設(shè)備中，目前此技術(shù)已在全國(guó)多個(gè)地區(qū)地鐵的購(gòu)票設(shè)備中落地。思必馳始終堅(jiān)持技術(shù)源頭創(chuàng)新，結(jié)合行業(yè)最新動(dòng)態(tài)，為企業(yè)提供更優(yōu)質(zhì)的自然語(yǔ)言交互解決方案，為用戶(hù)帶來(lái)更自然的人機(jī)交互體驗(yàn)。

原文標(biāo)題：CCBN | 思必馳：帶屏終端場(chǎng)景下的多模態(tài)交互

文章出處：【微信公眾號(hào)：思必馳】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq