實踐證明，將神經(jīng)形態(tài)技術(shù)從實驗室應(yīng)用于實踐的過程很緩慢。本周，新加坡國立大學的研究人員向前推進了一步，展示了一種事件驅(qū)動的視覺觸覺感知系統(tǒng)，該系統(tǒng)使用英特爾的Loihi芯片控制結(jié)合了觸覺感知和視覺的機械臂。值得注意的是，他們還在GPU系統(tǒng)上運行了該練習，并報告了基于Loihi的系統(tǒng)性能稍好，功耗卻低得多。

國大研究人員今天在本周舉行的虛擬機器人科學與系統(tǒng)會議上介紹了他們的研究結(jié)果。預(yù)期將觸覺感測（抓地力）與視覺（位置）結(jié)合起來，可以顯著提高機械手的精確度和處理物體時的抓地力。神經(jīng)形態(tài)技術(shù)的使用也有望降低機器人技術(shù)所需的功耗，這是神經(jīng)形態(tài)技術(shù)的主要目標。

“我們對這些結(jié)果感到興奮。他們表明，神經(jīng)形態(tài)系統(tǒng)是組合多個傳感器以改善機器人感知力的有希望的難題。這是朝著建設(shè)能效高，值得信賴的機器人邁出的一步，該機器人可以在意外情況下快速，適當?shù)刈龀鲰憫?yīng)。”國大教授和作者哈羅德·索（Harold Soh）在一篇 描述工作的論文（事件驅(qū)動的視覺觸覺傳感和機器人學習）中說道 。

長期以來，英特爾一直處于將神經(jīng)形態(tài)技術(shù)商業(yè)化的最前沿，其Loihi （芯片）/ Pohoiki（系統(tǒng)）是最發(fā)達的平臺之一。神經(jīng)形態(tài)系統(tǒng)模仿自然系統(tǒng)（例如大腦），因為它們使用尖峰神經(jīng)網(wǎng)絡(luò)（SNN）來處理信息，而不是機器/深度學習中更常用的人工神經(jīng)網(wǎng)絡(luò)（ANN）。

英特爾神經(jīng)形態(tài)計算實驗室主任Mike Davies表示：“新加坡國立大學的這項研究使人對機器人技術(shù)的未來有了一個令人信服的瞥見，在機器人技術(shù)中，事件是通過事件驅(qū)動的方式結(jié)合多種方式進行感知和處理的。這項工作增加了越來越多的結(jié)果，表明一旦在基于事件的范式中重新設(shè)計了整個系統(tǒng)，包括傳感器，數(shù)據(jù)格式，算法和硬件體系結(jié)構(gòu)，神經(jīng)形態(tài)計算可以顯著提高延遲和功耗。” 英特爾還公布了這項工作的情況。

國大論文的摘錄很好地描述了挑戰(zhàn)和貢獻：

“許多日常任務(wù)需要多種感覺方式才能成功執(zhí)行。例如，考慮從冰箱中取出一箱豆?jié){，人們可以通過視覺來確定該紙箱的位置，并可以通過簡單的掌握推斷出該紙箱中包含多少液體。然后，他們可以使用視覺和觸覺來提起物體而不會使其滑落。這些動作（和推論）是使用高效節(jié)能的神經(jīng)底物來進行的，與當前人工系統(tǒng)中使用的多模式深度神經(jīng)網(wǎng)絡(luò)相比，人腦所需的能量要少得多。

“在這項工作中，我們采取了關(guān)鍵步驟，以實現(xiàn)對機器人系統(tǒng)的有效視覺觸覺感知。我們從異步和事件驅(qū)動的生物系統(tǒng)中獲得啟發(fā)。與耗費大量資源的深度學習方法相反，事件驅(qū)動的感知形成了一種替代方法，該方法可保證高能效和低延遲-這些功能是實時移動機器人的理想選擇。但是，相對于標準的同步感知方法，事件驅(qū)動的系統(tǒng)仍未開發(fā)。”

長期以來，多模式傳感的價值已被公認為是推進機器人技術(shù)的重要組成部分。但是，使用尖峰神經(jīng)網(wǎng)絡(luò)的局限性阻礙了在實時感測功能中使用神經(jīng)形態(tài)芯片。

“神經(jīng)形態(tài)學習，特別是尖峰神經(jīng)網(wǎng)絡(luò)（SNN），為學習事件數(shù)據(jù)提供了一種競爭性方法。類似于基于事件的傳感器，SNN直接與離散的尖峰一起工作，因此具有相似的特性，即低延遲，高時間分辨率和低功耗。從歷史上看，SNN由于缺乏良好的培訓程序而受到阻礙。由于尖峰不可微，因此無法使用基于梯度的方法（例如反向傳播）。有效的SNN培訓的最新發(fā)展以及神經(jīng)形態(tài)硬件（例如，IBM TrueNorth和Intel Loihi）的新生出現(xiàn)，引起了人們對包括機器人技術(shù)在內(nèi)的各種應(yīng)用的神經(jīng)形態(tài)學習的興趣。SNN尚未在偽事件圖像數(shù)據(jù)集上始終勝過其深層ANN表親，

另一個障礙是僅僅開發(fā)足夠的觸覺傳感設(shè)備?！氨M管觸覺傳感器有許多應(yīng)用（例如，微創(chuàng)手術(shù)和智能假體），但觸覺傳感技術(shù)仍落后于視覺。特別地，當前的觸覺傳感器仍然難以縮放并與機器人平臺集成。原因有兩個：首先，許多觸覺傳感器通過時分多址（TDMA）進行接口連接，在該接口中，周期性地和順序地對各個分類單元進行采樣。隨著傳感器中紫杉樹數(shù)量的增加，TDMA的串行讀取本質(zhì)會固有地導(dǎo)致讀取延遲的增加。其次，高空間定位精度通常是通過在傳感器中添加更多的出租車來實現(xiàn)的。這總是導(dǎo)致更多的接線，

研究人員開發(fā)了自己的新型“神經(jīng)啟發(fā)式”觸覺傳感器（NeuTouch）：“ NeuTouch的結(jié)構(gòu)類似于人的指尖：它包含“皮膚”和“骨骼”，并且物理尺寸為37×21 ×13毫米 這種設(shè)計有助于與擬人化末端執(zhí)行器（用于假肢或類人機器人）和標準的多指夾持器集成。在我們的實驗中，我們將NeuTouch與Robotiq 2F-140抓手配合使用。研究人員寫道：“我們的重點是指尖設(shè)計，但是可以開發(fā)出適合不同應(yīng)用的替代結(jié)構(gòu)?！?/p>

NeuTouch的觸覺感應(yīng)是通過帶有39個紫杉醇的電極層和基于石墨烯的壓阻薄膜實現(xiàn)的。紫杉樹的形狀類似于人的指尖的快速適應(yīng)（FA）機械感受器，并且沿徑向排列，其密度從傳感器的中心到外圍，范圍從高到低。

在典型的抓握過程中，NeuTouch（具有凸表面）往往會與紫杉醇密度最高的中央?yún)^(qū)域的物體進行初始接觸。相應(yīng)地，可以在觸覺感測的較早階段捕獲豐富的觸覺數(shù)據(jù)，這可能有助于加速推理（例如，用于早期分類）?；谑┑?a href="http://m.makelele.cn/tags/壓力傳感器/" target="_blank">壓力傳感器由于其高的楊氏模量而形成了有效的觸覺傳感器，有助于減少傳感器的磁滯和響應(yīng)時間。

研究人員說，主要目標是確定他們的多模式系統(tǒng)是否能夠有效檢測使用單個傳感器難以分離的物體之間的差異，以及重量峰值計數(shù)損失是否會帶來更好的早期分類性能?！罢堊⒁猓覀兊哪繕瞬皇堑贸鲎罴训姆诸惼?實際上，我們沒有包括可能會改善結(jié)果的本體感受數(shù)據(jù)，也沒有進行詳盡（且計算量大）的最佳架構(gòu)搜索。相反，我們試圖了解在合理的設(shè)置中同時使用視覺和觸覺峰值數(shù)據(jù)的潛在好處?！?/p>

他們使用了四個不同的容器：一個咖啡罐，百事可樂瓶，紙板豆?jié){紙箱和金屬金槍魚罐。該機器人被用來抓握和提起每個物體15次，并對物體進行分類并確定其重量。多模態(tài)SNN模型得分最高（81%），比任何單模測試高出約10%。

在將Loihi神經(jīng)形態(tài)芯片與GPU（Nvidia GeForce RTX 2080）進行比較時，它們的整體性能大致相似，但是基于Loihi的系統(tǒng)使用的功率卻少得多（見表）。最新的工作是向前邁出的重要一步。

最好閱讀全文，但這里是對本文實驗的概述。

機器人運動。機器人將抓握并提升每個對象類別十五次，每個類別產(chǎn)生15個樣本。使用MoveIt笛卡爾姿勢控制器計算運動各部分的軌跡。簡要地說，將機器人抓具初始化為在每個物體的指定抓握點上方10厘米處。然后將末端執(zhí)行器移至抓握位置（2秒），并使用Robotiq抓握控制器關(guān)閉抓具（4秒）。然后，per紙牙將物體提起5厘米（2秒），并保持0.5秒。

數(shù)據(jù)預(yù)處理。對于這兩種方式，我們都從抓取，提升和保持階段中選擇了數(shù)據(jù)（對應(yīng)于圖4中的2.0s至8.5s窗口），并將bin持續(xù)時間設(shè)置為0.02s（325個bin），并且合并閾值Smin = 1我們使用分層的K折創(chuàng)建5個拆分;每個分組包含240個訓練課程和60個具有相同班級分布的測試示例。

分類模型。我們將SNN與常規(guī)的深度學習進行了比較，特別是具有門控循環(huán)單元（GRU）的多層感知器（MLP）［54］和3D卷積神經(jīng)網(wǎng)絡(luò)（CNN-3D）［55］。我們使用（i）僅觸覺數(shù)據(jù)，（ii）僅視覺數(shù)據(jù)和（iii）組合的視覺觸覺數(shù)據(jù)來訓練每個模型。注意，組合數(shù)據(jù)上的SNN模型對應(yīng)于VT-SNN。在單一模式上訓練時，我們視情況使用視覺或觸覺SNN。我們使用PyTorch實施了所有模型。