喜歡樂高、熟悉樂高的朋友們應(yīng)該都是清楚，如今有些樂高產(chǎn)品完全是面向大人的，它們的復(fù)雜程度遠高于面向兒童的產(chǎn)品。以樂高千年隼號（Millennium Falcon）和帝國殲星艦（Imperial Star Destroyer）這兩款產(chǎn)品為例，它們的積木顆粒分別為 7541 個和 4784 個，不少人花費了數(shù)月時間才最終拼完。據(jù)說拼過這兩款積木的用戶最后都 “病” 了，癥狀表現(xiàn)為看到積木就頭疼、手不由自主發(fā)抖、容易犯嘔。

不想被一個玩具難倒了？那么這個新誕生的機器學(xué)習(xí)框架可以讓你更加直觀、輕松地拼完整個模型。

Autodesk、斯坦福大學(xué)和麻省理工學(xué)院的研究人員探討了將人類設(shè)計師創(chuàng)造的基于圖像的、分步驟的裝配手冊翻譯成機器可理解的指令的問題。研究人員將這個問題表述為一個連續(xù)的預(yù)測任務(wù)：在每個步驟中，該模型都會讀取手冊，定位要添加到當(dāng)前形狀中的部件，并推斷出它們在三維空間的位置。這項任務(wù)帶來的挑戰(zhàn)是在手冊圖像和真實的三維物體之間建立「二維到三維」的對應(yīng)關(guān)系，以及對未見過的三維物體進行三維姿態(tài)預(yù)測，因為在一個步驟中要添加的新部件可能是全新的小積木，也可能是由以前的步驟拼成的物體（例如一個人物模型，說明書通常是讓用戶先拼完人物的四肢和頭部，然后再將四肢和頭部與人物主體互相拼接在一起形成整體；而不是像 3D 打印，一步步從頭到腳慢慢成型）。

為了解決這兩個挑戰(zhàn)，研究人員提出了一個新的基于學(xué)習(xí)的框架，即 MEPNet（Manual-to-Executable-Plan Network），它從一連串的手冊圖像中重構(gòu)拼裝步驟。其關(guān)鍵思想是整合神經(jīng)的二維關(guān)鍵點檢測模塊和「二維到三維」投影算法，以實現(xiàn)高精度的預(yù)測和對未見過的組件的強概括性。通過測試發(fā)現(xiàn)，MEPNet 的表現(xiàn)優(yōu)于現(xiàn)有方法。

研究人員表示，現(xiàn)有的將說明書步驟解析為機器可理解的指令的方法主要包括兩種形式，一個是基于搜索的方法，該方法簡單而準確，但計算成本高；另一個是基于學(xué)習(xí)的模型，速度快，但不善于處理未見過的 3D 形狀，而 MEPNet 結(jié)合了上述兩種方法。

除了可以用來拼樂高，在論文中研究人員還表示，他們的目標是創(chuàng)造幫助人們組裝復(fù)雜物體的機器，他們的應(yīng)用范圍除了樂高的積木，還包括宜家的家具。因此利用這個框架，開發(fā)者有望開發(fā)出比普通家具說明更容易讓用戶理解的安裝手冊。

想測試 MEPNet 并且熟悉 Pytorch 的用戶可以在 Github 上找到項目的代碼 ：https://github.com/Relento/lego_release

我十分懷疑，開發(fā)這個框架的研究員假借研究的名義偷偷玩樂高。

審核編輯 ：李倩