索尼曾提交過(guò)一份類似于Knuckles風(fēng)格的VR控制器發(fā)明。日前，索尼的研究人員正式展示了利用機(jī)器學(xué)習(xí)和電容傳感器來(lái)實(shí)現(xiàn)全手追蹤的實(shí)驗(yàn)性技術(shù)。

像Leap Motion這樣基于視覺(jué)的手部追蹤系統(tǒng)可允許用戶直接用雙手操縱，無(wú)需控制器，但它們通常會(huì)產(chǎn)生手指遮擋的情況，從而無(wú)法在虛擬現(xiàn)實(shí)中實(shí)現(xiàn)一比一的全手映射。

為了給虛擬現(xiàn)實(shí)控制器帶來(lái)更強(qiáng)的手部臨在感，索尼研究人員Kazuyuki Arimatsu和Hideki Mori構(gòu)建了一個(gè)集成大批電容式接近傳感器的控制器原型，而它非常類似于V社的Index控制器（原Knuckles）和Oculus Touch。

原型包含62個(gè)電極，而Kazuyuki Arimatsu和Hideki Mori用所述電極記錄了不同手部尺寸與姿態(tài)的訓(xùn)練數(shù)據(jù)。與Index控制器一樣，索尼的原型采用了一種基于腕帶的開(kāi)放式手掌設(shè)計(jì)。

相關(guān)論文：Evaluation of Machine Learning Techniques for Hand Pose Estimation on Handheld Device with Proximity Sensor

他們?cè)谡撐闹袑?xiě)道：“我們用2.5D Representation將卷積神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于曲面的電容圖像，并利用我們的數(shù)據(jù)集評(píng)估了基于計(jì)算機(jī)視覺(jué)領(lǐng)域最新成果的兩種網(wǎng)絡(luò)架構(gòu)。我們同時(shí)使用原型實(shí)現(xiàn)了實(shí)時(shí)交互應(yīng)用程序，并演示了在虛擬現(xiàn)實(shí)應(yīng)用程序中使用手指進(jìn)行直觀交互的可能性?！?/p>

他們指出：“如果我們向全世界的用戶提供我們的方法，這可能會(huì)產(chǎn)生問(wèn)題。由于我們需要一個(gè)光學(xué)追蹤系統(tǒng)來(lái)記錄訓(xùn)練數(shù)據(jù)集，所以（視頻演示的）每個(gè)用戶的微調(diào)訓(xùn)練無(wú)法通過(guò)我們當(dāng)前的訓(xùn)練方法進(jìn)行。為了更好地適應(yīng)不同的手部尺寸，我們需要研究一種增強(qiáng)或合成電容圖像的方法?！?/p>

目前的算法無(wú)法估計(jì)用戶手部的形狀，比如說(shuō)手指的厚度，而這可能會(huì)在執(zhí)行捏合動(dòng)作時(shí)造成實(shí)際手部姿態(tài)和虛擬手部姿態(tài)的不匹配。用戶當(dāng)然可以在挑選更小的虛擬對(duì)象時(shí)進(jìn)行自我調(diào)整，而這對(duì)于Knuckles和初代Oculus Touch控制器都是事實(shí)（Oculus Touch控制器是第一款采用相對(duì)較小的電容傳感器陣列的VR控制器）。

不管是哪種情況，目前尚不清楚索尼是否會(huì)繼續(xù)推進(jìn)所述技術(shù)的商業(yè)化，比如說(shuō)用于支持PS5的控制器。我們依然在屏息等待下一代PSVR的發(fā)布，但顯然，我們確實(shí)希望索尼能夠拋棄原有的PS Move+PS Camera的光學(xué)組合。