兩年前，一名因脊髓損傷而癱瘓的64歲男子使用腦機(jī)接口（BCI）實(shí)現(xiàn)了以每分鐘8個(gè)單詞的速度打字，這在當(dāng)時(shí)是創(chuàng)紀(jì)錄的。

加州大學(xué)舊金山分校（UCSF）的科學(xué)家們提出了一種由神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的新型BCI，可以讓癱瘓或中風(fēng)的人以自然語(yǔ)音的速度（平均每分鐘150個(gè)單詞）交流。他們的這一研究成果4月24日發(fā)表在了Nature上，文章標(biāo)題為“Speech synthesis from neural decoding of spoken sentences”。

USFC研究團(tuán)隊(duì)發(fā)表在Nature上的論文

該技術(shù)通過(guò)一個(gè)獨(dú)特的兩步過(guò)程運(yùn)作：首先，它將大腦信號(hào)轉(zhuǎn)換成聲道（包括下頜、喉部、嘴唇和舌頭）的運(yùn)動(dòng)。之后，它將這些運(yùn)動(dòng)合成為語(yǔ)音。該系統(tǒng)需要一個(gè)直接放置在大腦上的手掌大小的電極陣列。論文作者說(shuō)，該系統(tǒng)概念驗(yàn)證了從腦活動(dòng)中重建自然語(yǔ)音是可能的。

加州大學(xué)舊金山分校的研究人員使用了與上圖中的電極陣列類似的一個(gè)顱內(nèi)電極陣列來(lái)記錄參與這項(xiàng)新研究的受試者的大腦活動(dòng)。照片來(lái)源：UCSF。

在關(guān)于該研究的一則新聞報(bào)道中，UCSF神經(jīng)外科醫(yī)生、這項(xiàng)研究的負(fù)責(zé)人Edward Chang表示，許多研究都聚焦在從腦活動(dòng)中解碼聲音或完整單詞，但解碼思想“非常困難” ?！拔覀兒苊鞔_地嘗試解碼動(dòng)作以創(chuàng)建聲音，而不是直接解碼聲音?！?/p>

美國(guó)西北大學(xué)神經(jīng)修復(fù)實(shí)驗(yàn)室的負(fù)責(zé)人Marc Slutzky（他并未參與該研究）說(shuō)：“對(duì)于如何從腦信號(hào)中直接解碼語(yǔ)音，這是一項(xiàng)設(shè)計(jì)精美、執(zhí)行良好的研究。”

然而，將這項(xiàng)技術(shù)轉(zhuǎn)化為臨床實(shí)踐將是一個(gè)挑戰(zhàn)，Slutzky補(bǔ)充說(shuō)：“目前，F(xiàn)DA批準(zhǔn)的設(shè)備中還沒(méi)有哪種使用他們?cè)?a href="http://m.makelele.cn/tags/高通/" target="_blank">高通道能力情形下使用的電極類型（他們?cè)谶@里使用了256個(gè)通道），所以這仍然是一個(gè)障礙。但我相信這最終會(huì)被克服?！?/p>

有很多研究在應(yīng)用神經(jīng)網(wǎng)絡(luò)——松散地模擬人腦的一套算法，常用于深度學(xué)習(xí)——來(lái)解釋腦活動(dòng)“發(fā)出”的聲音，Chang的論文是這一系列努力中的最新成果。今年早些時(shí)候，兩個(gè)獨(dú)立的團(tuán)隊(duì)——西北大學(xué)的Slutzky實(shí)驗(yàn)室和哥倫比亞大學(xué)的Nima Mesgarani實(shí)驗(yàn)室——分別在Journal of Neural Engineering和Scientific Reports上發(fā)表了論文，他們都使用神經(jīng)網(wǎng)絡(luò)來(lái)從感覺(jué)網(wǎng)絡(luò)的腦活動(dòng)中重建語(yǔ)音。Chang的研究與這兩項(xiàng)研究的不同之處在于，它分析的是運(yùn)動(dòng)皮層的腦活動(dòng)。

西北大學(xué)Slutzky實(shí)驗(yàn)室發(fā)表在Journal of Neural Engineering上的論文

哥倫比亞大學(xué)Nima Mesgarani實(shí)驗(yàn)室發(fā)表在Scientific Reports上的論文

Mesgarani告訴IEEE Spectrum說(shuō)：“最終哪種方法能更好地解碼想象中的言談情況，還有待觀察，但很可能將兩者結(jié)合起來(lái)的方法是最好的。”

包括Chang的研究在內(nèi)的最近的各項(xiàng)研究都依賴于通過(guò)手術(shù)在大腦中或大腦上放置電極。雖然Facebook聲稱它正在開(kāi)發(fā)一種能夠每分鐘從用戶的大腦中讀出100個(gè)單詞的非侵入性技術(shù)，但它還沒(méi)有發(fā)布支持這一說(shuō)法的研究成果。專家們同意，外部電極無(wú)法從小腦區(qū)提供足夠精確的數(shù)據(jù)。專家們一致認(rèn)為，外部電極無(wú)法提供來(lái)自腦部小區(qū)域的足夠精確的數(shù)據(jù)。BrainGate聯(lián)盟在2017年發(fā)表了那項(xiàng)關(guān)于癱瘓男子利用BCI實(shí)現(xiàn)每分鐘打字8個(gè)單詞的研究，最近它還發(fā)表了一篇關(guān)于癱瘓者利用BCI以“意念”操控平板電腦的論文，也都是依賴于植入大腦的芯片的。

在Chang及其同事們的研究中，他們?cè)?名接受癲癇治療的受試者的言語(yǔ)運(yùn)動(dòng)皮層植入了電極陣列，然后從這些電極陣列收集數(shù)據(jù)。研究人員記錄了患者大聲說(shuō)出幾百句話時(shí)的大腦信號(hào)。這些句子包括“這個(gè)蹺蹺板安全嗎?”和“在第十二天黃昏時(shí)，我們會(huì)喝夏布利酒”等，它們是被特別挑選出來(lái)，囊括了英語(yǔ)的所有音標(biāo)。

接下來(lái)，研究人員使用一個(gè)神經(jīng)網(wǎng)絡(luò)將這些高分辨率的腦信號(hào)解碼成聲道運(yùn)動(dòng)——本質(zhì)上是將腦電波轉(zhuǎn)換成能夠產(chǎn)生聲音的物理運(yùn)動(dòng)模型，比如嘴唇、舌頭或下頜的運(yùn)動(dòng)。這項(xiàng)研究基于該團(tuán)隊(duì)去年發(fā)表在Neuron期刊上的一個(gè)模型。

Chang的團(tuán)隊(duì)去年發(fā)表在Neuron上的論文

最后，他們使用第二個(gè)神經(jīng)網(wǎng)絡(luò)將這些聲道運(yùn)動(dòng)的數(shù)字化表示合成為音頻信號(hào)，并讓志愿者傾聽(tīng)。在對(duì)101個(gè)句子的試驗(yàn)中，聽(tīng)者可以在單詞庫(kù)的幫助下很好地識(shí)別和寫出聽(tīng)到的合成語(yǔ)音：句子中單詞來(lái)自25個(gè)單詞的詞匯池時(shí)，43%的句子被完美地寫了出來(lái)；句子中單詞來(lái)自50個(gè)單詞的詞匯池時(shí)，21%的句子被完美地寫了出來(lái)。總的來(lái)說(shuō)，大約70%的單詞被正確地寫了出來(lái)。Chang說(shuō)，下一步的研究包括使音頻更加自然和易懂。

這項(xiàng)研究還有一個(gè)有趣的發(fā)現(xiàn)，一名受試者被要求在不發(fā)出聲音的情況下用其聲道做相同的發(fā)音動(dòng)作。BCI能夠從這些發(fā)音動(dòng)作中合成出可理解的語(yǔ)音，這表明該系統(tǒng)可以應(yīng)用于不能發(fā)出聲音的人。

解碼出來(lái)的聲道運(yùn)動(dòng)在人與人之間大同小異，這表明有可能創(chuàng)建出一種可在不同的人之間共享的“通用”解碼器。Chang說(shuō)：“模仿一個(gè)人聲音的人造聲道可以被用來(lái)從另一個(gè)人的腦活動(dòng)中合成語(yǔ)音?！?/p>

這項(xiàng)研究的一個(gè)主要局限是，其受試者都是沒(méi)有語(yǔ)言障礙的人。Chang說(shuō)，未來(lái)，該團(tuán)隊(duì)希望對(duì)不能說(shuō)話的患者進(jìn)行臨床試驗(yàn)。