觸覺(jué)對(duì)于機(jī)器人的靈巧操作十分重要，近年來(lái)凝膠觀測(cè)（GelSight）傳感器由于低成本和豐富的觸覺(jué)信號(hào)吸引了基于學(xué)習(xí)的機(jī)器人領(lǐng)域研究人員的大量關(guān)注。GelSight被用于USB線纜插入、擲骰子、物體抓取等領(lǐng)域的研究。

GelSight傳感器在基于學(xué)習(xí)的方法下工作良好主要是由于它可以輸入高分辨率的觸覺(jué)圖像，從中可以獲取包括目標(biāo)幾何外形、表面紋理、法向量、剪切力等豐富的特征，這些信息對(duì)于機(jī)器人的控制十分重要。

觸覺(jué)圖像可以利用標(biāo)準(zhǔn)的計(jì)算機(jī)視覺(jué)卷積網(wǎng)絡(luò)進(jìn)行處理，由此出現(xiàn)了一系列廣泛的研究成果：Calandra等人基于GelSight數(shù)據(jù)利用自監(jiān)督的方法訓(xùn)練了抓取成功分類器的模型；Tian等人則提出了基于視頻預(yù)測(cè)的控制算法Visual Foresight，使得機(jī)器人可以基于純粹觸覺(jué)圖像來(lái)擲骰子；Lambeta等人還提出了一種基于GelSight圖像的強(qiáng)化學(xué)習(xí)算法應(yīng)用于手工操作。

但將GelSight傳感器應(yīng)用于實(shí)際工作中還受限于尺寸和視場(chǎng)問(wèn)題。目前的GelSight傳感器都只有單個(gè)方向具有傳感能力，同時(shí)尺寸較大不方便在實(shí)際操作中使用。在這篇文章中，研究人員提出了一種更為緊致的全向傳感器，可以實(shí)現(xiàn)像人類手指一樣的全方位感知，為感知運(yùn)動(dòng)學(xué)習(xí)提供了新的思路。

GelSight傳感器

下圖顯示了先前的觸覺(jué)傳感器和目前的新型傳感器對(duì)比圖，左圖是標(biāo)準(zhǔn)的GelSight傳感器，基于webcam來(lái)捕捉硅膠外殼形變的高分辨率圖像，內(nèi)部由不同顏色的光照射，為觸覺(jué)提供了豐富的彩色圖像?？梢钥吹狡湟曇爸挥谐蛲獠康囊粋€(gè)方向，并且傳感器的尺寸較大表面較為平滑，感受野較小，分辨率較低（～400x400 pixels），不適宜較小物體的觸覺(jué)感知。而商用的OptoForce力傳感器則只能提供比較單一的力矢量，無(wú)法滿足精細(xì)化的操作要求。

GelSight標(biāo)準(zhǔn)傳感器和本文提出的OmniTact傳感器的比較

OmniTact Sensor

而OmniTact的設(shè)計(jì)則克服了這些確定，它配備了多個(gè)方向攝像頭和高分辨率的感知結(jié)果，同時(shí)彎曲硅膠曲面包裹的傳感器更為緊湊適應(yīng)性更好（上圖中右側(cè)灰色矩形代表了攝像頭，橙色線則表示感知視野）。與GelSight相似，OmniTact也利用了嵌入在硅膠外殼內(nèi)的攝像頭來(lái)捕捉形變信息，可以提供包括剪切－法向力、目標(biāo)位姿、幾何形狀、材料特性等豐富的信息。

OmniTact的特點(diǎn)在于使用了多個(gè)相機(jī)同時(shí)實(shí)現(xiàn)高分辨率和多方向感知能力，制作成像手指一樣小巧外形的傳感器可以被集成到夾爪或者機(jī)器手上。OmniTact利用了內(nèi)窺鏡中的微型相機(jī)來(lái)保證了傳感器的小型化，并將硅膠直接灌注在了相機(jī)表面。下圖顯示了傳感器獲取的接觸圖案：

上圖顯示了不同目標(biāo)的觸覺(jué)圖樣，下圖顯示了不同角度在齒條上的觸覺(jué)圖樣。

設(shè)計(jì)創(chuàng)新

OmniTact的目標(biāo)在于盡可能的緊湊，研究人員使用了常用于內(nèi)窺鏡中大視場(chǎng)短焦距的微型相機(jī)，尺寸為1．35x1．35x5mm焦距為5mm，安放于3D打印的支架上。下圖顯示了垂直方向和水平方向上的橫截面圖，其中淺灰色代表了每個(gè)相機(jī)的視野，在減小盲區(qū)的基礎(chǔ)上實(shí)現(xiàn)了較小的傳感器直徑（30mm）。

垂直和水平橫截面視圖，淺灰色代表（相機(jī)）傳感器感受范圍，垂直方向達(dá)到了270度，水平方向則達(dá)到了360度全向（僅僅有少許的盲點(diǎn)）。

插插座任務(wù)

為了展示這種傳感器的能力，研究人員選擇了具有挑戰(zhàn)性的插插座任務(wù)，僅僅依靠觸覺(jué)傳感器信息將充電頭插到墻上的插座里。這一任務(wù)既需要定位插頭相對(duì)于夾爪的位置，又需要定位夾爪相對(duì)于墻上插座的位置。

圖中顯示了實(shí)驗(yàn)過(guò)程以及觸覺(jué)傳感器側(cè)向和頂部觸覺(jué)圖像

為了學(xué)習(xí)插入任務(wù)，研究人員使用了簡(jiǎn)單的模仿學(xué)習(xí)算法，基于OmniTact觸覺(jué)圖像來(lái)估計(jì)將插頭插入插座的末端位移。在僅僅使用鍵盤控制100次訓(xùn)練后，模型就能很好地完成任務(wù)了。

下表顯示了使用OmniTact傳感器帶來(lái)的成功率提升，證明了多方向觸覺(jué)傳感器是解決這類問(wèn)題的關(guān)鍵所在。而使用單方向或者力傳感器成功率都大幅下降。

研究人員認(rèn)為更為緊湊、全面、清晰的視覺(jué)傳感器對(duì)于通用機(jī)器人任務(wù)和各領(lǐng)域的遙操作等應(yīng)用具用重要意義，未來(lái)將繼續(xù)探索小型化和低成本化的傳感器，使其適應(yīng)于更大的應(yīng)用范圍。

責(zé)任編輯：gt