點贊再看，養(yǎng)成習(xí)慣，微信公眾號搜索【JackCui-AI】關(guān)注這個愛發(fā)技術(shù)干貨的程序員。本文 GitHub https://github.com/Jack-Cherish/PythonPark 已收錄，有一線大廠面試完整考點、資料以及我的系列文章。

1 前言

剛剛過去的 2020 年 ECCV，有一項 AI“隱身”技術(shù)引人矚目。

正在坐秋千的小孩，突然只剩下秋千架。

讓漫步的行人消失，讓奔馳的汽車消失。

這么好玩的 AI 算法，你想學(xué)嗎？

老規(guī)矩，今天，繼續(xù)手把手教學(xué)。

算法原理、環(huán)境搭建、效果實現(xiàn)，一條龍服務(wù)，盡在下文！

2 FGVC

FGVC 的作者是一位 90 后北京小伙，目前在弗吉尼亞理工大學(xué)計算機工程專業(yè)就讀博士三年級，師從華人教授 Jia-Bin Huang。

FGVC 算法本質(zhì)上是一個基于光流法的視頻修復(fù)算法。

光流法是視域中物體運動檢測的概念，其用于描述運動所造成的觀測目標(biāo)、表面或邊緣的運動，主要應(yīng)用于計算機視覺和影像處理等。

使用光流法，可尋到不同幀之間的關(guān)系，并通過在不同幀之間傳播信息來補全視頻。

FGVC 主要包含三個步驟：Flow completion、Temporal propagation、Fusion。

Flow completion：具體操作時，要計算相鄰幀之間的正向光流和反向光流、以及一組非相鄰幀 (Non-local) 的正向光流和反向光流。

Temporal propagation：按照光流的軌跡，為每個丟失的像素找到一組候選像素，對于每個候選幀，都要估計一個置信分數(shù)以及一個二進制有效性指標(biāo)。

Fusion：使用置信加權(quán)平均值，將每個缺失像素的候選像素與至少一個有效候選像素融合。對于沒有候選像素，則使用一個關(guān)鍵幀，并使用單個圖像補全技術(shù)來填充它。

更具體的原理，比如邊緣引導(dǎo)的光流補充等，可以去「啃下」論文，學(xué)習(xí)一下。

Paper 地址：

https://arxiv.org/abs/2009.01835

3 環(huán)境配置

想要測試算法效果，先要部署下開發(fā)環(huán)境。

Github 開源項目地址：

https://github.com/vt-vl-lab/...

Github 下載慢的，可以下載我已經(jīng)打包的代碼（提取碼：jack）：

https://pan.baidu.com/s/1t/_EDDDgMCHBS83QFywuFdg

這里推薦使用 Anaconda 完成部署，不知道 conda 用法的，可以看下我寫過的另一篇基礎(chǔ)教程：

《別再折騰開發(fā)環(huán)境了，一勞永逸的搭建方法》

FGVC 算法依賴于另外兩個算法 DeepFill 和 RAFT。

所以，可以創(chuàng)建兩個虛擬環(huán)境 FGVC 和 raft。

FGVC 環(huán)境使用 PyTorch 0.4.0，并配置算法 DeepFill 的環(huán)境。

DeepFill 環(huán)境配置方法：

https://github.com/nbei/Deep-...

直接使用指令安裝依賴庫：

pip install -r requirements.txt

raft 環(huán)境使用 PyTorch 1.6.0，并配置算法 RAFT 的環(huán)境。

RAFT 環(huán)境配置方法：

https://github.com/princeton-...

這里比較簡單，使用 conda 安裝需要的庫即可。

都配置完畢，就可以測試算法效果了！

4 效果測試

先激活 raft 虛擬環(huán)境，直到運行結(jié)果出現(xiàn)提示：

「Please switch to Pytorch 0.4.0」

然后切換到 FGVC 虛擬環(huán)境，然后再運行一次代碼。

Object removal：

cd tool

FOV extrapolation：

cd tool

想要計算速度更快些，可以去掉 seamless 參數(shù)。

算法需要 rgb 圖片和 mask 圖片，這些數(shù)據(jù)是已知的，想要去除什么物體，給個物體的 mask 即可。

運行效果示意圖：

5 最后

關(guān)注我?guī)阃孓D(zhuǎn)各種好玩的 AI 算法，我是 Jack Cui，我們下期見！

作者：Jack Cui
原文：https://mp.weixin.qq.com/s/2c...
關(guān)注作者公眾號，獲取更多有趣AI應(yīng)用~

系列篇

• 偷天換日，逼真的天空置換算法
• 太強了！基于深度學(xué)習(xí)的文本自動解密算法

更多AIoT領(lǐng)域有趣的算法應(yīng)用及產(chǎn)品請關(guān)注有趣的AIoT應(yīng)用專欄。

審核編輯：符乾江