最近的人工智能研究指出了觸覺和視覺之間的協(xié)同效應(yīng)。其中一個(gè)可以測(cè)量三維表面和慣性特性，而另一個(gè)則提供了物體投影外觀的整體視圖。

在這項(xiàng)工作的基礎(chǔ)上，三星、麥吉爾大學(xué)和約克大學(xué)的研究人員調(diào)查了人工智能系統(tǒng)是否可以通過(guò)對(duì)物體初始狀態(tài)的視覺和觸覺測(cè)量來(lái)預(yù)測(cè)物體的運(yùn)動(dòng)。

研究人員在一篇論文中描述表示：“之前的研究已經(jīng)表明，預(yù)測(cè)運(yùn)動(dòng)中的物體的軌跡是具有挑戰(zhàn)性的，因?yàn)樵谙嗷プ饔玫谋砻嫔洗嬖谖粗哪Σ梁蛶缀翁匦?，以及不確定的壓力分布?！薄盀榱藴p輕這些困難，我們專注于學(xué)習(xí)一種經(jīng)過(guò)訓(xùn)練的預(yù)測(cè)工具，它可以捕捉運(yùn)動(dòng)軌跡中信息最豐富、最穩(wěn)定的元素。”

具體來(lái)說(shuō)，研究人員開發(fā)了一種可以穿透皮膚的傳感器，他們聲稱這種傳感器可以在捕捉圖像的同時(shí)提供詳細(xì)的觸覺測(cè)量。

除此之外，他們還創(chuàng)建了一個(gè)名為“生成式多模態(tài)感知（Generative Multimodal Perception）”的框架，該框架利用視覺和觸覺數(shù)據(jù)來(lái)學(xué)習(xí)對(duì)物體姿態(tài)、形狀和力的信息，從而進(jìn)行編碼，并對(duì)物體運(yùn)動(dòng)做出預(yù)測(cè)。

為了預(yù)測(cè)物體在物理交互過(guò)程中的靜止?fàn)顟B(tài)，他們使用了所謂的靜止?fàn)顟B(tài)預(yù)測(cè)，以及動(dòng)態(tài)場(chǎng)景中的視覺觸覺運(yùn)動(dòng)數(shù)據(jù)集，包括物體在平面上自由落體，沿斜面上滑下，以及從他們的靜止?fàn)顟B(tài)收到干擾。

在實(shí)驗(yàn)中，研究人員說(shuō)，他們的方法能夠預(yù)測(cè)物體靜止?fàn)顟B(tài)下的原始視覺和觸覺測(cè)量值，而且準(zhǔn)確度很高，預(yù)測(cè)結(jié)果與事實(shí)非常吻合。

此外，研究人員聲稱框架學(xué)習(xí)了視覺、觸覺和3D姿勢(shì)模式之間的映射，以便它可以處理缺失的模式，例如當(dāng)觸覺信息在輸入中不可用時(shí)，以及預(yù)測(cè)對(duì)象脫離傳感器表面的情況時(shí)，導(dǎo)致空的輸出圖像。

研究稱，在物理場(chǎng)景中預(yù)測(cè)對(duì)象運(yùn)動(dòng)受益于利用兩種形式：視覺信息捕獲對(duì)象屬性，如3D形狀和位置，而觸覺信息提供了相互作用力和由此產(chǎn)生的對(duì)象運(yùn)動(dòng)和接觸的關(guān)鍵線索。新的AI框架則，可根據(jù)圖像和觸覺數(shù)據(jù)預(yù)測(cè)物體運(yùn)動(dòng)，這將可以更好幫助人類做出預(yù)測(cè)。
責(zé)編AJX