0. 筆者個人體會

今天筆者將為大家分享NVIDIA的最新開源方案FoundationPose，是一個用于 6D 姿態(tài)估計和跟蹤的統(tǒng)一基礎模型。只要給出CAD模型或少量參考圖像，F(xiàn)oundationPose就可以在測試時立即應用于新物體，無需任何微調，關鍵是各項指標明顯優(yōu)于專為每個任務設計的SOTA方案。

下面一起來閱讀一下這項工作，文末附論文和代碼鏈接~

1. 效果展示

FoundationPose實現(xiàn)了新物體的6D姿態(tài)估計和跟蹤，支持基于模型和無模型設置。在這四個任務中的每一個上，F(xiàn)oundationPose都優(yōu)于專用任務的SOTA方案。(·表示僅RGB，×表示RGBD)。這里也推薦工坊推出的新課程《單目深度估計方法：算法梳理與代碼實現(xiàn)》。

2. 具體原理是什么？

為減少大規(guī)模訓練的人工工作，F(xiàn)oundationPose利用3D模型數(shù)據(jù)庫、大型語言模型和擴散模型等新技術，開發(fā)了一種新的合成數(shù)據(jù)生成Pipeline。為了彌補無模型和基于模型的設置之間的差距，F(xiàn)oundationPose利用以對象為中心的神經(jīng)場來進行隨后的渲染和新視圖RGBD渲染。

對于姿態(tài)估計，首先在物體周圍均勻地初始化全局姿態(tài)，然后通過細化網(wǎng)絡對其進行細化。最后將改進的位姿轉發(fā)給姿態(tài)選擇模塊，預測位姿的分數(shù)，輸出得分最高的位姿。

3. 和其他SOTA方法對比如何？

YCB-Video數(shù)據(jù)集上Model-free方案的位姿估計定量結果對比。

YCB-Video數(shù)據(jù)集上位姿跟蹤的定量對比。這里也推薦工坊推出的新課程《單目深度估計方法：算法梳理與代碼實現(xiàn)》。

對更多實驗結果和文章細節(jié)感興趣的讀者，可以閱讀一下論文原文~

4. 論文信息

標題：FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects

作者：Bowen Wen, Wei Yang, Jan Kautz, Stan Birchfield

機構：NVIDIA

原文鏈接：https://arxiv.org/abs/2312.08344

代碼鏈接：https://github.com/NVlabs/FoundationPose

審核編輯：劉清