樂高愛好者抓撓他們的頭，閱讀組裝說明，可能很快有助于復(fù)雜的建設(shè)，感謝一個新的 學(xué)習(xí) 來自斯坦福大學(xué)、麻省理工學(xué)院和 Autodesk 。研究人員設(shè)計了一個深度學(xué)習(xí)框架，將 2D 手冊翻譯成機器可以理解的步驟，以構(gòu)建 3D 樂高套件。這項工作可以推動專注于制造機器的研究，幫助人們組裝物體。

“樂高手冊提供了一個獨立的環(huán)境，展示了人類的一項核心技能：在指導(dǎo)下學(xué)習(xí)完成任務(wù)。利用視覺場景解析和程序合成的最新進展，我們旨在構(gòu)建具有類似技能的機器，從樂高開始，最終以現(xiàn)實世界場景為目標(biāo)，”該研究資深作者吳家軍說，斯坦福大學(xué)計算機科學(xué)助理教授。

研究人員表示，用人工智能翻譯 2D 手冊面臨兩大挑戰(zhàn)。首先， AI 必須基于 2D 手動圖像在每個裝配步驟中學(xué)習(xí)和理解 3D 形狀之間的對應(yīng)關(guān)系。這包括考慮工件的方向和對齊。

它還必須能夠?qū)Υu塊進行分類，并在半組裝模型中推斷出磚塊的三維姿態(tài)。作為樂高積木制作過程的一部分，小部件被組合成更大的部件，如吉他的頭部、頸部和身體。當(dāng)這些較大的部分組合在一起時，將創(chuàng)建一個完整的項目。這增加了難度，因為機器必須解析出所有的樂高積木，甚至是那些可能不可見的積木，如樂高釘和反積木。

該團隊致力于創(chuàng)建一個模型，該模型可以將 2D 手冊轉(zhuǎn)化為機器可執(zhí)行計劃，以構(gòu)建定義的對象。雖然目前有兩種執(zhí)行此任務(wù)的方法：基于搜索的方法和基于學(xué)習(xí)的方法，但都存在局限性。

基于搜索的方法尋找工件和手動圖像的可能三維姿態(tài)，尋找正確的姿態(tài)。該方法計算量大，速度慢，但精度高。

基于學(xué)習(xí)的模型依賴于神經(jīng)網(wǎng)絡(luò)來預(yù)測部件的 3D 姿態(tài)。它們速度快，但精度不高，尤其是在使用看不見的 3D 形狀時。

為了解決這一局限性，研究人員開發(fā)了手冊到可執(zhí)行計劃網(wǎng)絡(luò) （ MEPNet ） ，根據(jù)研究，它使用深度學(xué)習(xí)和 計算機視覺 集成“神經(jīng) 2D 關(guān)鍵點檢測模塊和 2D-3D 投影算法”

??根據(jù)一系列預(yù)測，在每一步，模型都會閱讀手冊，定位要添加的零件，并推導(dǎo)出 3D 定位。在模型預(yù)測了每一塊和每一步的姿勢后，它可以從頭開始解析手冊，創(chuàng)建一個機器人可以遵循的建筑計劃來建造樂高對象。

研究人員在研究中寫道：“對于每個步驟，輸入包括 1 ）一組在之前的步驟中構(gòu)建的原始磚塊和零件，以 3D 表示； 2 ）一個顯示組件應(yīng)如何連接的目標(biāo) 2D 圖像。預(yù)期輸出是該步驟中涉及的所有組件的（相對）姿態(tài)。”。

他們從一個包含 72 種磚塊的樂高工具包中創(chuàng)建了第一個合成訓(xùn)練數(shù)據(jù)，并使用了來自 LPub3D ，一個用于“創(chuàng)建樂高風(fēng)格的數(shù)字建筑說明”的開源應(yīng)用程序

研究人員總共生成了 8000 份培訓(xùn)手冊，其中 10 套用于驗證， 20 套用于測試。每個數(shù)據(jù)集中有大約 200 個單獨的步驟，約占培訓(xùn)中的 200000 個單獨步驟。

他們在研究中寫道：“我們在綜合生成的數(shù)據(jù)集上對 MEPNet 進行全面監(jiān)控，在該數(shù)據(jù)集中，我們有基本真相關(guān)鍵點、掩碼和旋轉(zhuǎn)信息?！?。 MEPNet 模型在四個點上訓(xùn)練 5 天 NVIDIA Titan RTX GPU 由 NVIDIA 圖靈架構(gòu)提供支持。

他們還在 Minecraft house 數(shù)據(jù)集上測試了該模型，該數(shù)據(jù)集具有與樂高類似的構(gòu)建風(fēng)格。

通過將 MEPNet 與現(xiàn)有模型進行比較，研究人員發(fā)現(xiàn)，它在現(xiàn)實世界的樂高積木、合成手冊和 Minecraft 示例中的表現(xiàn)優(yōu)于其他模型。

MEPNet 在姿勢估計方面更準(zhǔn)確，甚至在識別不可見片段的構(gòu)建方面也更好。研究人員還發(fā)現(xiàn)，該模型能夠?qū)暮铣墒謨灾蝎@得的知識應(yīng)用于現(xiàn)實世界的樂高手冊。

雖然還需要制造一個能夠執(zhí)行計劃的機器人，但研究人員將這項工作視為一個起點。

“我們的長期目標(biāo)是制造能夠幫助人類構(gòu)造和組裝復(fù)雜物體的機器。我們正在考慮將我們的方法擴展到其他組裝領(lǐng)域，如宜家家具，”斯坦福大學(xué)計算機科學(xué)博士生王若成（ Ruocheng Wang ）說。

關(guān)于作者

Michelle Horton 是 NVIDIA 的高級開發(fā)人員通信經(jīng)理，擁有通信經(jīng)理和科學(xué)作家的背景。她在 NVIDIA 為開發(fā)者博客撰文，重點介紹了開發(fā)者使用 NVIDIA 技術(shù)的多種方式。

審核編輯：郭婷