Single-View View Synthesis with Multiplane Images

最近在視圖合成方面的一系列工作使用深度學習來生成多平面圖像——一種以相機為中心的分層 3D 表示——給定兩個或多個已知視點的輸入圖像。我們將此表示應用于單視圖視圖合成，這是一個更具挑戰(zhàn)性但可能具有更廣泛應用的問題。我們的方法直接從單個圖像輸入中學習預測多平面圖像，并且我們引入了用于監(jiān)督的尺度不變視圖合成，使我們能夠在在線視頻上進行訓練。我們展示了這種方法適用于幾個不同的數(shù)據(jù)集，它還生成了合理的深度圖，并且它學會了在背景層中填充前景對象邊緣后面的內(nèi)容。

ASSET: Autoregressive Semantic Scene Editing with Transformers atHigh Resolutions

我們提出了資產(chǎn)，一種神經(jīng)架構，用于根據(jù)用戶對其語義分割圖的編輯自動修改輸入的高分辨率圖像。我們的架構基于具有新穎注意力機制的轉(zhuǎn)換器。我們的關鍵思想是在高分辨率下稀疏變換器的注意力矩陣，由在較低圖像分辨率下提取的密集注意力引導。雖然以前的注意力機制在處理高分辨率圖像時計算成本太高，或者在阻礙遠程交互的特定圖像區(qū)域內(nèi)受到過度限制，但我們新的注意力機制在計算上既高效又有效。我們的稀疏注意力機制能夠捕捉遠程交互和上下文，從而合成場景中有趣的現(xiàn)象，例如景觀到水面上的反射或與景觀的其余部分一致的論壇，這些是以前的卷積網(wǎng)絡無法可靠生成的和變壓器方法。我們提供定性和定量結果，以及用戶研究，證明我們方法的有效性。

我們的代碼和數(shù)據(jù)集可在我們的項目頁面上找到：https://github.com/DifanLiu/ASSET

審核編輯 ：李倩