Google近日發(fā)布了全新的移動端3D識別方案Objectron，該方案可在2D圖像中發(fā)現(xiàn)物體并通過AI模型估算其位置、方向和尺寸。Google表示，Objectron對機器人技術、自動駕駛汽車、圖像檢索和AR技術影響深遠，例如，其可以幫助工廠車間的機器人實時規(guī)避障礙。

目前，跟蹤3D對象是一個棘手的問題，尤其是在處理有限的計算資源時。由于缺乏數(shù)據(jù)以及物體的外觀和形狀的多樣性，當僅有的可用圖像為2D時，情況會變得更糟。

為此，Objectron研發(fā)團隊開發(fā)了一種圖片標記工具，該工具可以通過分屏視角顯示2D視頻幀，支持標記者使用分屏視圖顯示2D視頻幀來標記對象的3D邊界框（即矩形邊框）。這些3D邊界框將疊加在點云數(shù)據(jù)、攝像頭畫面和識別到的平面上。

標記者在3D視圖中標記3D邊界框后，可以在2D視頻幀中進行驗證，而對于靜態(tài)圖像，標記者只需在單個幀中標記目標對象即可。標記工具還使用AR session數(shù)據(jù)中的實際攝像頭信息來確定該物體在所有幀中的位置。

為了補充現(xiàn)實世界中的數(shù)據(jù)以提高AI模型預測的準確性，Google研發(fā)團隊開發(fā)了一種引擎，將虛擬對象放置到包含AR會話數(shù)據(jù)的場景中，這樣就可以使用攝像機圖像檢測到的平面區(qū)以及預測的光線，來生成與場景匹配的光照在物理中的位置，從而產(chǎn)生高質量的合成數(shù)據(jù)。在驗證測試中，綜合數(shù)據(jù)的準確性提高了約10％。