對于許多無法發(fā)出聲音的人來說，他們想說的話會通過某種信號隱藏在大腦中。

人類無法直接破譯這些信號。但是，最近有三個研究小組在“破譯”這種大腦語言密碼上取得了一定進(jìn)展。

Science雜志最新報道了哥倫比亞大學(xué)（Columbia University）、德國不萊梅大學(xué)（Bremen）和加州大學(xué)舊金山分校的三個研究小組的相關(guān)研究：通過手術(shù)，他們在大腦上放置電極，搜集電極產(chǎn)生的數(shù)據(jù)，再將其通過計算機(jī)變成語音信息；接著通過神經(jīng)網(wǎng)絡(luò)模型，他們重建了在某些情況下，可以被人類聽眾所理解的單詞和語句。

通過計算機(jī)讓失去語言能力的人表達(dá)自己并不罕見，物理學(xué)家斯蒂芬·霍金在世時，就會通過拉緊他的臉頰肌肉，以觸發(fā)安裝在眼鏡上的開關(guān)。對于經(jīng)歷中風(fēng)或其他疾病失去說話能力的人，他們可以使用他們的眼睛或做出其他小幅動作用來控制光標(biāo)或選擇屏幕上的字母。

但是，如果腦機(jī)接口直接重塑語音，這樣的患者可能會重新獲得更多曾經(jīng)喪失的能力：例如，控制音調(diào)變化，或者介入一個快速的對話。

研究該問題的道路困難重重。哥倫比亞大學(xué)（Columbia University）計算機(jī)科學(xué)家Nima Mesgarani說：“我們正試圖找出在不同時間點打開與關(guān)閉神經(jīng)元的模式，并由此推斷語音內(nèi)容?！薄吧窠?jīng)元間的映射并不淺顯直白?！边@些信號如何轉(zhuǎn)換為語音聲音因人而異，因此模型必須針對每個人進(jìn)行獨特“訓(xùn)練”。

這些模型將在非常精確的數(shù)據(jù)上表現(xiàn)最好——而搜集這些精準(zhǔn)的數(shù)據(jù)需要打開我們的頭蓋骨。

研究人員只能在極少數(shù)情況下才會進(jìn)行此類危險性記錄：一種情況是在移除腦腫瘤期間，暴露在外的大腦產(chǎn)生的電讀數(shù)能夠幫助外科醫(yī)生定位以避開關(guān)鍵的語音及運動區(qū)；另一種情況是在手術(shù)前為癲癇患者植入電極并保持?jǐn)?shù)天以確定癲癇發(fā)作起因。

瑞士日內(nèi)瓦大學(xué)神經(jīng)工程師Stephanie Martin表示說，“我們最多只有20分鐘，最多30分鐘來收集數(shù)據(jù)——真的非常非常受限?！?/p>

新論文背后的研究組盡量最大化利用數(shù)據(jù)、將信息提供給神經(jīng)網(wǎng)絡(luò)；神經(jīng)網(wǎng)絡(luò)通過將信息傳遞到計算“節(jié)點”層來處理復(fù)雜的行為模式。網(wǎng)絡(luò)通過調(diào)整節(jié)點之間的連接來學(xué)習(xí)。本實驗則使用人類產(chǎn)生或聽到的語音以及與此同時大腦活動的數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

Mesgarani的團(tuán)隊的研究使用了五名癲癇患者的數(shù)據(jù)。

隨著病人們聽到故事錄音以及0至9數(shù)字錄音，他們的神經(jīng)網(wǎng)絡(luò)同步分析其聽覺皮層（該皮層在語音和聽力過程中都很活躍）活動。隨后計算機(jī)僅根據(jù)神經(jīng)數(shù)據(jù)來重新生成數(shù)字。有一組聽眾會在計算機(jī)“說出”數(shù)字同時對其進(jìn)行評估；其精確度大約為75%。

?聲音聽起來有些可怕，

但是仔細(xì)聽仍可以辨認(rèn)出數(shù)字

基于人類聽到口述數(shù)字時腦活動記錄的電腦重建

由德國不萊梅大學(xué)（Bremen）計算機(jī)科學(xué)家Tanja Schultz領(lǐng)導(dǎo)的另一個團(tuán)隊使用了六名接受腦腫瘤手術(shù)的人的數(shù)據(jù)。

他們讓被測試者朗讀單音單詞，用麥克風(fēng)捕捉他們的聲音。同時，大腦的語音規(guī)劃區(qū)和運動區(qū)產(chǎn)生的電極會被記錄下來（這些電極向聲道發(fā)送命令以清楚地表達(dá)單詞）。

現(xiàn)在正與馬斯特里赫特大學(xué)（Maastricht）合作的計算機(jī)科學(xué)家Miguel Angrick和Christian Herff訓(xùn)練了一個將電極讀數(shù)映射到錄音然后從以前看不見的大腦數(shù)據(jù)中重建單詞神經(jīng)網(wǎng)絡(luò)。根據(jù)一項計算機(jī)評分系統(tǒng)，大約40％的計算機(jī)生成單詞是可以理解的。

最后，加州大學(xué)舊金山分校的神經(jīng)外科醫(yī)生Edward Chang和他的團(tuán)隊根據(jù)由三名癲癇患者大聲朗讀語音引起的、從語言及運動區(qū)域捕獲的大腦活動，重建了整個句子。

在線上測試中，有166人聽懂了其中一個句子，并從10項文字選項中進(jìn)行選擇。超過80％的情況下模型都能夠正確識別句子。研究人員還進(jìn)一步改進(jìn)了模型：他們使用它根據(jù)人類的唇語來重新創(chuàng)建句子。Herff說，這是一項重要的結(jié)果——“離我們所有人都設(shè)想到的‘語言修復(fù)’更近了一步。”

然而，“我們真正想知道的是當(dāng)患者不能說話時，（這些方法）將能夠如何起作用”，加州圣地亞哥州立大學(xué)研究語言生成的神經(jīng)科學(xué)家Stephanie Riès說。

一個人默默說話或在自己腦中聽到自己聲音時的信號，與真正說話或聽到某些內(nèi)容時產(chǎn)生的信號并不是完全相同的。如果沒有外部聲音來匹配大腦活動，計算機(jī)甚至可能連理清內(nèi)部語音開始與結(jié)束位置這種任務(wù)都很難完成。

奧爾巴尼紐約州衛(wèi)生部國家自適應(yīng)神經(jīng)技術(shù)中心的神經(jīng)工程師Gerwin Schalk說，解碼大腦中的演講將需要“科學(xué)大躍進(jìn)”：“根本不清楚如何做到這一點?！?/p>

Herff說，有一種可能的方法，是向大腦-計算機(jī)交互界面的用戶提供反饋：如果他們能夠?qū)崟r聽到計算機(jī)的語音解釋，他們可能能夠即時調(diào)整他們的想法以獲得理想結(jié)果。

通過對用戶和神經(jīng)網(wǎng)絡(luò)的充分訓(xùn)練，大腦和計算機(jī)可能最終能達(dá)成一致。