在完全黑暗的環(huán)境中，依靠視覺進(jìn)行導(dǎo)航是沒有用的，相反，觸覺會更有效。由于神經(jīng)系統(tǒng)的反應(yīng)較大，用力觸摸可以揭示有關(guān)物體或障礙物的更多信息，而輕輕觸摸則可能不足以喚起神經(jīng)反饋。然而，硬觸也可能導(dǎo)致不良后果，如損壞物體，例如在黑暗的房間內(nèi)移動時損壞貴重的藝術(shù)品，或因危險實體的存在而傷害身體。在這種情況下，即使是短暫的閃光也能大大提高成功移動的幾率。這是因為視覺記憶可以影響和幫助觸覺反應(yīng)，從而實現(xiàn)導(dǎo)航。如果我們的視覺和觸覺皮層只對各自的單模態(tài)線索做出反應(yīng)，就不可能做到這一點。因此整合跨模態(tài)線索是大腦功能的基本特征之一。

? 在大腦中，每種感覺在不同的情況下都能發(fā)揮最佳功能，但它們共同作用，可以提高探測和識別物體和事件的可能性。一般認(rèn)為，大腦中有專門的區(qū)域，如視覺、聽覺、軀體感覺、味覺和嗅覺皮層，處理來自一種模式的感覺輸入，而跨模式整合則發(fā)生在更高的皮層區(qū)域。然而，最近的研究結(jié)果表明，多感覺整合可以通過接收來自兩種或兩種以上感覺模式匯聚輸入的特化神經(jīng)元在初級感覺區(qū)域進(jìn)行。例如，在訓(xùn)練有素的猴子的初級軀體感覺皮層中發(fā)現(xiàn)的S1神經(jīng)元除了對軀體感覺輸入做出反應(yīng)外，還對視覺和聽覺刺激做出反應(yīng)。同樣聽覺皮層中的A1神經(jīng)元對聽覺和軀體感覺線索都有反應(yīng)。多感覺整合的優(yōu)勢在于多感覺反應(yīng)具有超加性，即不僅超過單感覺反應(yīng)，還超過它們的算術(shù)總和。

? ? 多感覺整合的另一個主要特點是，多感覺增強通常與被整合的單個線索的強度成反比。這被稱為反效果效應(yīng)，具有直觀意義，因為高度突出的單模態(tài)刺激會在相應(yīng)的單感覺神經(jīng)元中喚起強烈的反應(yīng)，這種反應(yīng)很容易被檢測到。在這種情況下，多感覺整合可以大大增強神經(jīng)活動，并通過提高檢測和定位事件的速度和可能性對動物行為產(chǎn)生積極影響。換句話說當(dāng)單個刺激引起的反應(yīng)最弱時，多感覺放大作用最大。最后，多感覺整合具有時間一致性即統(tǒng)合反應(yīng)的大小對每種感覺輸入所引發(fā)的反應(yīng)之間的時間相關(guān)性非常敏感。換句話說，當(dāng)活動的高峰期重合時，反應(yīng)達(dá)到最大值。多感覺信息處理的例子在自然界比比皆是。例如，海豚將從回聲中獲得的聽覺線索與視覺系統(tǒng)相結(jié)合，使它們能夠全面了解周圍環(huán)境中的物體、距離和形狀。蜜蜂通過被稱為“搖擺舞”的復(fù)雜舞蹈向它們的蜂巢伙伴傳達(dá)食物來源的位置。這些舞蹈結(jié)合了視覺線索，如搖擺的角度和持續(xù)時間，以及從花蜜中獲得的氣味線索，有效地傳遞了食物來源的距離和方向等信息。雖然神經(jīng)科學(xué)領(lǐng)域，尤其是認(rèn)知和行為領(lǐng)域，已經(jīng)對多感覺整合進(jìn)行了廣泛研究，但機器人、人工智能和神經(jīng)形態(tài)計算領(lǐng)域尚未充分發(fā)揮多感覺整合的優(yōu)勢。

? ? 近期，賓夕法尼亞大學(xué)Saptarshi Das教授等人介紹了一種基于光敏單層MoS?憶阻晶體管和摩擦靜電觸覺傳感器集成的人工視覺觸覺神經(jīng)元，它能準(zhǔn)確捕捉多感覺整合的三個基本特征，即超魯加響應(yīng)、反向效力效應(yīng)和時間一致性。該研究還實現(xiàn)了一種可將視覺觸覺信息編碼為數(shù)字尖峰事件的電路，尖峰事件的概率由視覺和觸覺線索的強度決定。相關(guān)研究以“A bio-inspired visuotactile neuron for multisensory integration”為題發(fā)表在Nature Communications期刊上。

多感覺整合

多感覺神經(jīng)元視覺積分的逆效應(yīng)和超加性響應(yīng)觀察

單感覺與多感覺整合的比較及時間一致性的論證

總體而言，對生物啟發(fā)的多感覺視覺觸覺神經(jīng)元和尖峰編碼電路的全面展示將推動神經(jīng)形態(tài)計算領(lǐng)域的發(fā)展，該領(lǐng)域迄今為止主要側(cè)重于單感覺智能和信息處理。此外，它還可以應(yīng)用于國防、太空探索以及許多機器人和人工智能系統(tǒng)。最后，多感覺融合的原理可以從視覺信息處理擴展到其它感覺刺激，包括音頻、嗅覺、熱和味覺刺激。 ?

編輯：黃飛

?