91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

機器怎么獲取辨音能力?

中科院半導體所 ? 來源:中國科普博覽 ? 2020-08-27 16:37 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

不知道你是否有這樣的經歷,月底窮困潦倒的你中午走進人潮喧嘩的食堂,正在心里瘋狂比較哪個菜更便宜時,忽然聽到五米開外某人的一聲“咱們發(fā)工資了”,于是你理直氣壯地對食堂大媽喊道:“加個雞腿!”

還有,不管在哪里,周圍有多吵,一旦有人叫自己的名字,總是能聽到。人能夠在如此嘈雜的環(huán)境下精確捕捉到想聽到的聲音,甚至還能知道聲音的方位,相比之下,現在的很多智能設備卻做不到這一點,這究竟是為什么呢?

Part. 1

人的聽覺為什么具有選擇性

說起人的聽覺,有一個著名的效應——雞尾酒會效應,它是指在喧鬧的雞尾酒會上,參會者大腦中的聽覺系統可以將他的注意力集中約束在他感興趣的談話內容上,而自動忽略其他“無關”的噪聲,即使周圍環(huán)境非常嘈雜。

然而,這種我們人類用兩只耳朵就能搞定的小問題,對于智能音箱等語音交互設備來說,卻并不是那么容易的。當它們身處嘈雜的環(huán)境時,很容易就受到各種來路不明的聲音的連環(huán)暴擊,最終陷入我是誰我在哪我在干嘛的死循環(huán)中無法自拔(感興趣的同學可以打開你身邊的語音交互設備嘗試一下)…

于是,攻(工)城(程)獅(師)們本著大力出奇跡的原則,不惜斥巨資為它們裝上很多個金光閃閃的麥克風用來接收聲音,又去全世界各地搜羅各種各樣的聲音數據,沒日沒夜地投喂它們。但是,機器們學習的效果不是十分理想,雞尾酒會問題至今仍然困擾著世界各地的語音攻城獅們。

這時有的同學可能就要坐不住了:“就這?還用學?看來我的學霸屬性就要藏不住了!”這位同學你先冷靜一下,事情可并不是你想的那么簡單喲。

其實,你能具有這種聽覺選擇能力首先要感謝你的媽媽給了你兩只忽閃忽閃的大耳朵,這使得你的耳膜并不是像麥克風一樣是直接裸露在空氣中的。你的耳廓、頭部、肩膀、軀干等身體部位對于聲音來說像是一個“迷宮”,來自不同方位的聲音需要從不同的入口進入,經歷上述部位的一系列反射后最終到達“迷宮”的中心——耳膜,然后你的大腦就能感知到這個聲音啦。

由于聲波所走過的路徑不同,它們的頻譜也會發(fā)生不同程度的修改。在這個“迷宮”的不同位置,仿佛潛伏著一群造型師(沒錯,就是讓你又愛又恨的Tony老師),聲波路過時總是難免被“改造”一番。由于這些造型師們風格迥異、水平參差不齊,在大腦看來,這些聲波就變得各有特色,所以很容易區(qū)分,怎么說呢…有點像…

所以當你還是個小baby的時候,你還沒能累積足夠多的聽音經驗,你的大腦對這些改造過的聲音可能一時無法辨認,因此導致你對聲音的辨別能力可能比較弱。隨著你慢慢長大,聽到的聲音越來越多,你的大腦就會慢慢摸清套路,建立一套自己的算法(數據庫),這樣即使是好幾個聲音同時出現在你面前,你也能很輕松地區(qū)分他們。

Part. 2

機器怎么獲取辨音能力

那么問題來了!能不能讓機器像我們人一樣,擁有能夠分辨不同聲音的能力呢?答案是肯定噠!前不久,中科院聲學所的楊軍研究員團隊就提出了一種基于聲學超材料的單通道多聲源定位與分離系統,只使用一個帶有超材料外殼的單通道傳聲器,即可實現三維空間中多個同時發(fā)聲聲源的實時定位與分離。研究成果發(fā)表在了綜合類期刊Advanced Science上。

別...別激動…說人話就是——給麥克風做了一個忽閃忽閃的“大耳朵”,不過這個耳朵跟我們的耳朵差別有點大,它長這樣…

左圖:超材料結構模型圖 右圖:超材料結構實物圖

(圖片來源:作者繪制與拍攝)

我們暫且叫他“蜂窩耳”吧。這個“蜂窩耳”由外中內三層半球殼嵌套而成,每一層球殼上都隨機設置大小不一的圓孔,球殼之間隨機插入了若干塊橫向和縱向的擋板來制造大小不一的腔體,在球心位置則放著一個單通道的麥克風。這些大小隨機的圓孔和隔板使“蜂窩耳”具有高度的空間不對稱性,因此會對來自不同方向的聲波起到不同的調制效果。

這個“蜂窩耳”中的聲學結構就像是一個個風格迥異的Tony老師,聲波經過時總是難逃老師們的“改造”,這位老師畫個眉毛,那位老師涂個口紅,所以等它到麥克風的面前時,早就不是它原本的樣子啦。

你可能已經猜到,“蜂窩耳”的學名就是——聲學濾波器。剛才所說的聲波的“改造”過程其實就是濾波過程,濾波后的聲信號頻譜會發(fā)生相應的改變,因此被麥克風接收到的信號就會產生與來波方向有關的差異性了。

那么問題又來了——你以為聲波們長得不一樣,機器就能很快辨別出來嗎?想得美!

我們還需要訓練一個算法,讓機器提取這些聲波身上的獨家特征,最終定位和識別來自不同方向的聲音。擁有這個算法就好像擁有了一本Tony老師們的《造型百科全書》,里面記錄了各位Tony老師的改造技能和偏愛風格。從某種意義上說,這個算法也可以幫助廣大男同胞完美應對女朋友每日的靈魂拷問:“你覺得我今天有什么不一樣嗎?”是不是很想來一套!

Part. 3

機器戴耳記

一切準備就緒,我們的“蜂窩耳”就可以正式上崗啦!

來自不同方向的聲波從外表面不同的位置進入“蜂窩耳”,經過不同的傳播路徑時被不同的造型師改造,被球心的麥克風接收;熟讀《造型百科全書》的算法對接收信號進行處理,最終重建出它們的來波方向和聲音的內容。這種超材料結構+智能算法的組合,只用一個麥克風就能實現多聲源的實時定位和分離。攻城獅們再也不用擔心麥克風數量不夠用啦!

“蜂窩耳”的工作流程

(圖片來源:作者繪制)

你是不是也很好奇“蜂窩耳”的效果如何呢?來看看研究人員針對多個生活場景進行的聽音測試。

實驗場景(圖片來源:作者拍攝)

“蜂窩耳”(圖片紅框里)放在中間,周圍均勻放置16個音響用于播放測試所用的聲音。測試所用到的聲音包括馬路上的鳴笛聲、動物的叫聲、各種樂器聲、人說話的聲音等等,好奇心爆棚的筆者曾一度跑到“蜂窩耳”的位置,試圖挑戰(zhàn)一下這個聽音測試,當時的場景大概是這個樣子的…

不過,這對訓練有素的“蜂窩耳”來說就是小菜一碟啦。當空間中同時發(fā)聲的聲源不超過三個,定位與分離的準確率可以達到90%以上,耗時也不超過1s,是不是棒棒噠!

當然,現在的“蜂窩耳”還只能算一個小baby,它的聲學結構設計和后端算法仍有待進一步的磨合和提升,研究人員也正在馬不停蹄地研發(fā)“蜂窩耳”2.0版本。隨著語音技術的發(fā)展,我們身邊越來越多的電子設備都搭載了語音交互系統,希望這個“蜂窩耳”能讓這些設備更加智能,使人與機器之間的交互更加流暢和便捷。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • 濾波器
    +關注

    關注

    162

    文章

    8412

    瀏覽量

    185693
  • 智能設備
    +關注

    關注

    5

    文章

    1159

    瀏覽量

    53426
  • 智能音箱
    +關注

    關注

    31

    文章

    1794

    瀏覽量

    80826

原文標題:嘿,siri!嘈雜的酒吧里,AI為什么聽不懂指令?

文章出處:【微信號:bdtdsj,微信公眾號:中科院半導體所】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    ???????使用 DMM Web API 獲取搜索列表數據

    ? ?DMM 平臺提供了豐富的 Web API 接口,允許開發(fā)者獲取其平臺上的各種數據。其中一個常用的接口是用于獲取搜索列表結果的 API。本文將介紹如何調用此 API 來獲取商品或內容的列表信息
    的頭像 發(fā)表于 02-09 15:34 ?157次閱讀
    ???????使用 DMM Web API <b class='flag-5'>獲取</b>搜索列表數據

    調用樂天平臺API獲取商品詳情數據

    ? ? 樂天平臺提供了豐富的API接口,允許開發(fā)者獲取平臺上的各類數據。其中,獲取商品詳情(通常稱為 letian 詳情)是一個常見的需求。本文將介紹如何調用樂天平臺的相關API來獲取商品詳情數據
    的頭像 發(fā)表于 02-02 16:25 ?203次閱讀
    調用樂天平臺API<b class='flag-5'>獲取</b>商品詳情數據

    基于NVIDIA VLA模型打造通用人形機器能力

    要讓人形機器人真正有用,它們需要具備認知能力和移動操作能力,涵蓋感知、規(guī)劃以及在動態(tài)環(huán)境中的全身控制。
    的頭像 發(fā)表于 01-14 09:53 ?1876次閱讀

    如何利用NVIDIA Cosmos Cookbook提升機器人操作能力

    機器人操控系統在進入動態(tài)現實環(huán)境時,難以應對持續(xù)變化的物體、光照條件及接觸動力學。此外,仿真與現實之間的差距,以及未經過優(yōu)化的抓手或工具,通常限制了機器人在多樣化任務中的泛化能力、長視距任務的執(zhí)行
    的頭像 發(fā)表于 12-31 16:05 ?2010次閱讀
    如何利用NVIDIA Cosmos Cookbook提升<b class='flag-5'>機器</b>人操作<b class='flag-5'>能力</b>

    RK3576機器人核心:三屏異顯+八路攝像頭,重塑機器人交互與感知

    瑞芯微RK3576 AIoT處理器處理器憑借其卓越的多屏異顯與8路攝像頭接入能力,為機器人領域帶來革新。米爾電子MYD-LR3576開發(fā)板實測數據顯示,在高負載下CPU占用僅34%,完美實現多路視覺
    發(fā)表于 10-29 16:41

    INDEMIND解鎖陪伴機器能力新邊界

    從2D感知到3D感知,從單一語音到多模態(tài)交互,解鎖陪伴機器能力新邊界。
    的頭像 發(fā)表于 10-09 14:25 ?657次閱讀

    再掀語音交互革命,廣和通AI解決方案加速機器人聽覺進化

    機器人世界里,感知是智能化的第一步,是機器獲取環(huán)境信息,學習適應并自主決策的前提。聽覺作為五感之一,深度融合AI,可幫助機器人實現高效感知、數據
    的頭像 發(fā)表于 08-26 17:44 ?889次閱讀

    GraniStudio:獲取軸信息例程

    1.文件運行 導入工程 雙擊運行桌面 GraniStudio .exe。 通過引導界面導入獲取軸信息運動例程,點擊導入按鈕。 打開獲取軸信息例程所在路徑,選中獲取軸信息.gsp文件,點擊打開,完成
    的頭像 發(fā)表于 08-22 16:40 ?659次閱讀
    GraniStudio:<b class='flag-5'>獲取</b>軸信息例程

    產品評論獲取API接口

    ? 在當今電商和數據分析領域,產品評論是寶貴的用戶反饋來源。手動收集評論耗時且易出錯,而通過API接口自動化獲取評論,能顯著提升效率。本文將逐步介紹如何利用API接口高效獲取產品評論,包括核心概念
    的頭像 發(fā)表于 07-25 14:26 ?475次閱讀
    產品評論<b class='flag-5'>獲取</b>API接口

    產品列表獲取API接口詳解

    ? 在現代軟件開發(fā)中,API(應用程序編程接口)是獲取產品列表的核心工具,它允許開發(fā)者從遠程服務器高效地檢索數據。本文將逐步介紹如何設計和使用產品列表獲取API接口,包括核心概念、實現步驟、代碼示例
    的頭像 發(fā)表于 07-24 14:29 ?727次閱讀
    產品列表<b class='flag-5'>獲取</b>API接口詳解

    明遠智睿SSD2351開發(fā)板:語音機器人領域的變革力量

    接口則讓語音機器人可以連接到互聯網,實時獲取最新的信息,增強其智能性和交互能力。 在實際應用場景中,以智能客服語音機器人為例。SSD2351開發(fā)板可以驅動語音識別模塊,準確識別用戶的問
    發(fā)表于 05-28 11:36

    如何獲取CCG5和HMD之間的請求信息(rdo)?

    現在我們可以使用 dpm_update_src_cap()修改源 pdo,CCG5 會向 HMD 發(fā)送源能力,我們想知道是否有任何函數可以從 HMD 獲取 rdo。
    發(fā)表于 05-22 07:16

    EtherCAT科普系列(8):EtherCAT技術在機器視覺領域的應用

    機器視覺是基于軟件與硬件的組合,通過光學裝置和非接觸式的傳感器自動地接受一個真實物體的圖像,并利用軟件算法處理圖像以獲得所需信息或用于控制機器人運動的裝置。機器視覺可以賦予機器人及自動
    的頭像 發(fā)表于 05-15 17:09 ?1687次閱讀
    EtherCAT科普系列(8):EtherCAT技術在<b class='flag-5'>機器</b>視覺領域的應用

    如何獲取 OpenAI API Key?API 獲取與代碼調用示例 (詳解教程)

    OpenAI API Key 獲取與使用詳解:從入門到精通 OpenAI 正以其 GPT 和 DALL-E 等先進模型引領全球人工智能創(chuàng)新。其 API 為開發(fā)者和企業(yè)提供了強大的 AI 能力集成途徑
    的頭像 發(fā)表于 05-04 11:42 ?1.6w次閱讀
    如何<b class='flag-5'>獲取</b> OpenAI API Key?API <b class='flag-5'>獲取</b>與代碼調用示例 (詳解教程)

    海伯森技術推動機器人感知能力邁向新高度

    的“感知神經元”,公司自主研發(fā)的六維力扭矩傳感器已批量應用于20余家頭部機器人企業(yè),為人形機器人、協作機器人及高端工業(yè)場景提供克級力控精度,推動機器人感知
    的頭像 發(fā)表于 03-10 11:07 ?1065次閱讀