CoNNear是具有卷積和跳過(guò)連接的全卷積編碼器-解碼器NN，可將音頻輸入映射到時(shí)域中不同耳蝸部分（N CF）的201 BM振動(dòng)輸出。

a，b，具有（a）和不具有（b）上下文的CoNNear體系結(jié)構(gòu)。最終的CoNNear模型具有四個(gè)編碼器和解碼器層，使用上下文，并且在CNN層之間包括tanh激活功能。c，模型訓(xùn)練和評(píng)估程序的概述。作為參考，對(duì)語(yǔ)音語(yǔ)料庫(kù)的分析性TL模型仿真用于訓(xùn)練CoNNear參數(shù)，而模型的評(píng)估是使用耳蝸力學(xué)研究中普遍采用的簡(jiǎn)單聲學(xué)刺激進(jìn)行的。

將卷積神經(jīng)網(wǎng)絡(luò)與計(jì)算神經(jīng)科學(xué)相結(jié)合，創(chuàng)建了一個(gè)模擬人類耳蝸力學(xué)的模型。在過(guò)去的幾十年中，語(yǔ)音和語(yǔ)音識(shí)別技術(shù)取得了長(zhǎng)足的進(jìn)步。例如，通常由基于電話的代理為客戶提供服務(wù)。而且，智能手機(jī)上的語(yǔ)音識(shí)別和響應(yīng)系統(tǒng)已經(jīng)無(wú)處不在。但是它們都具有一個(gè)共同點(diǎn)，那就是盡管它們看起來(lái)很像，但它們都不是實(shí)時(shí)操作的。每個(gè)都基于處理所聽(tīng)到內(nèi)容的硬件和軟件。在這項(xiàng)新的工作中，研究人員建議當(dāng)前設(shè)備的問(wèn)題在于必須完成的計(jì)算所涉及的復(fù)雜性。

為了解決這個(gè)問(wèn)題，他們創(chuàng)建了一個(gè)模擬人類聽(tīng)力的模型，該模型基于將卷積神經(jīng)網(wǎng)絡(luò)的最佳功能與計(jì)算神經(jīng)科學(xué)融合在一起。人類的聽(tīng)力來(lái)自耳朵的各個(gè)部位。聲音進(jìn)入耳道并撞擊鼓膜。耳膜響應(yīng)振動(dòng)，將信號(hào)發(fā)送到內(nèi)耳的骨骼，從而在耳蝸內(nèi)的液體中產(chǎn)生波紋。那種液體攪動(dòng)著耳蝸內(nèi)的毛細(xì)胞。毛細(xì)胞的運(yùn)動(dòng)會(huì)刺激離子通道，進(jìn)而產(chǎn)生發(fā)送到腦干的信號(hào)。

研究人員創(chuàng)建了一個(gè)AI系統(tǒng)，該系統(tǒng)被教給識(shí)別聲音，然后以類似的方式對(duì)其進(jìn)行解碼。然后，他們將系統(tǒng)連接到基于人體解剖學(xué)的模型。他們將他們的系統(tǒng)命名為CoNNear-耳蝸的工作模型。測(cè)試表明，該系統(tǒng)能夠?qū)?0 kHz采樣的聲波波形實(shí)時(shí)轉(zhuǎn)換為耳蝸基底膜波形，大大超越了最先進(jìn)的傳統(tǒng)系統(tǒng)。CoNNear的耳蝸功能比目前的助聽(tīng)器技術(shù)快2000倍。研究人員認(rèn)為，他們的發(fā)現(xiàn)可能為新一代類人聽(tīng)力或增強(qiáng)的聽(tīng)力和語(yǔ)音識(shí)別設(shè)備奠定基矗。
責(zé)任編輯：YYX