作為一個(gè)設(shè)計(jì)師，是否整天因?yàn)榉爆嵖菰锏男迗D工作不勝其煩？現(xiàn)在，一款基于GAN的AI修圖大師可以將你從這類工作中解放出來。修輪廓、改表情、生發(fā)、加耳環(huán)、去眼鏡、補(bǔ)殘圖，你能想到的它都能一鍵搞定。

這可能是史上最牛的AI修圖大師。

在一張人臉圖片上畫上幾筆，比如說勾出一個(gè)眉毛的輪廓，它就能自動把草圖修正成真實(shí)的圖片，即使你毫無藝術(shù)細(xì)胞，也沒關(guān)系，只要能夠大致表明想修哪里，剩下的活兒就都交給它好了。

這款工具由韓國電子與電信通訊研究所的Youngjoo Jo和Jongyoul Park開發(fā)，它比一般的臉部圖片編輯工具或應(yīng)用程序更高級，可以改變發(fā)型、把嚴(yán)肅臉改成笑臉，甚至可以加入原本沒有的配飾，比如耳環(huán)、耳釘?shù)?。還可以在一張被部分遮擋的面部圖像上生成完整的臉部圖像，還能把圖中的人戴的太陽鏡去掉等等。

來看看這款“AI修圖大師”的神奇效果：

改變臉部輪廓特征和瞳孔顏色

生發(fā)（劃重點(diǎn)）、變笑臉、加頭飾，都不在話下

加個(gè)耳環(huán)、耳墜什么的，只要劃出大致位置就行了

強(qiáng)大的自動補(bǔ)全功能

草繪秒變真人，畫風(fēng)夸張也沒問題

這款“神器”的開發(fā)者之一Youngjoo Jo表示：我們認(rèn)為這個(gè)程序可以讓設(shè)計(jì)師不用做那么多枯燥的勞動，讓他們把更多的精力集中在創(chuàng)造性的工作上，不過這并不是說只有設(shè)計(jì)師才能使用這款工具，用戶不需要具備設(shè)計(jì)上的專業(yè)知識。

機(jī)器學(xué)習(xí)研究人員Alex Champandard表示，這款工具與過去基于GAN的面部圖片編輯程序相比實(shí)現(xiàn)了一次重大進(jìn)步。

“當(dāng)你面對這樣的技術(shù)創(chuàng)新時(shí)，不免會在激動之余感到一絲害怕?！边@種工具將不可避免地改變設(shè)計(jì)師的日常工作節(jié)奏和內(nèi)容，但他并不認(rèn)為這類工具會讓設(shè)計(jì)師面臨失業(yè)。

“現(xiàn)在的一個(gè)重要問題是，我們接下來要怎樣做，才能讓這一工具更好地服務(wù)于那些工作內(nèi)容可能出現(xiàn)重大改變的人們？如何讓這款工具成為這些人的好幫手，而不是威脅？”

SC-FEGAN：基于神經(jīng)網(wǎng)絡(luò)的人臉圖像編輯系統(tǒng)

要達(dá)到這個(gè)神奇的效果，離不開SC-FEGAN。

SC-FEGAN是一種基于神經(jīng)網(wǎng)絡(luò)的人臉圖像編輯系統(tǒng)，并提供了實(shí)現(xiàn)批量輸入數(shù)據(jù)的方法。該網(wǎng)絡(luò)可以端到端地進(jìn)行訓(xùn)練，并生成具有逼真紋理細(xì)節(jié)的高質(zhì)量合成圖像。

該研究成果由韓國團(tuán)隊(duì)發(fā)表于arXiv：

論文地址：

https://arxiv.org/pdf/1902.06838.pdf

訓(xùn)練數(shù)據(jù)

恰當(dāng)?shù)挠?xùn)練數(shù)據(jù)有助于提高網(wǎng)絡(luò)訓(xùn)練性能。

在訓(xùn)練本模型時(shí)，作者在幾個(gè)預(yù)處理步驟之后使用CelebA-HQ數(shù)據(jù)集：

隨機(jī)選擇2組29000張圖像用于訓(xùn)練，1000張圖像用于測試；

在獲得草圖和顏色數(shù)據(jù)集之前，將圖像調(diào)整為512×512像素。

為了更好的表達(dá)人臉圖像中眼睛的復(fù)雜性，作者采用基于眼睛位置的free-from mask來訓(xùn)練網(wǎng)絡(luò)。

此外，還使用了free from mask和人臉分割GFC創(chuàng)建了適當(dāng)?shù)牟輬D域和顏色域。

這是非常關(guān)鍵的一步。因?yàn)樗沟孟到y(tǒng)能夠?yàn)槭掷L用戶輸入案例產(chǎn)生有說服力的結(jié)果。

網(wǎng)絡(luò)結(jié)構(gòu)

該網(wǎng)絡(luò)同樣也可以同時(shí)訓(xùn)練生成器和鑒別器。

生成器接收帶有用戶輸入的不完整圖像，在RGB通道中創(chuàng)建輸出圖像，并將輸出圖像的掩碼區(qū)域插入到不完整輸入圖像中，以創(chuàng)建完整圖像。

鑒別器接收完成的圖像或原始圖像（沒有掩蔽）以確定給定輸入是真實(shí)的還是假的。

在對抗訓(xùn)練中，識別器的額外用戶輸入也有助于提高性能。 此外，團(tuán)隊(duì)還發(fā)現(xiàn)與一般GAN損失不同的額外損失對于恢復(fù)大的擦除部分是有效的。

該網(wǎng)絡(luò)架構(gòu)如下圖所示：

圖注：SC-FEGAN的網(wǎng)絡(luò)架構(gòu)。除了輸入和輸出，LRN應(yīng)用于所有卷積層之后。使用tanh作為發(fā)生器輸出的激活函數(shù)。采用SN卷積層作為鑒別器。

生成器

生成器是基于U-net，所有卷積層使用3x3大小核的門控卷積。在除了其他soft gate之外的特征映射卷積層之后應(yīng)用局部信號歸一化（LRN）。LRN適用于除輸入層和輸出層之外的所有卷積層。

生成器的編碼器接收尺寸為512×512×9的輸入張量：具有在編輯時(shí)要被去除區(qū)域的不完整RGB通道圖像，描述被去除部分結(jié)構(gòu)的二進(jìn)制草圖、RGB顏色筆劃圖、二元掩模和噪音（如下圖所示）。

草圖和顏色域數(shù)據(jù)集以及批處理的輸入。我們使用HED邊緣檢測器提取草圖。使用GFC ，通過分割區(qū)域的中間顏色生成顏色圖。 網(wǎng)絡(luò)的輸入包括不完整的圖像、掩模、草圖、顏色和噪聲。

編碼器使用2個(gè)步幅內(nèi)核卷積對輸入進(jìn)行7次下采樣，然后在上采樣之前進(jìn)行擴(kuò)張卷積。

解碼器使用轉(zhuǎn)置的卷積進(jìn)行上采樣。然后，添加跳躍連接(skip connection)以允許與具有相同空間分辨率的先前層連接。

除了使用tanh函數(shù)的輸出層之外，我們在每一層之后都使用了leaky ReLU激活函數(shù)。

總的來說，我們的發(fā)生器由16個(gè)卷積層組成，網(wǎng)絡(luò)的輸出是相同大小的輸入(512×512)的RGB圖像。

在將損失函數(shù)應(yīng)用于輸入圖像之前，用輸入圖像替換了掩模外部的圖像的剩余部分。這種替換允許發(fā)電機(jī)專門在編輯區(qū)域上進(jìn)行訓(xùn)練。發(fā)生器受到了PartialConv中引入的損失的訓(xùn)練：每像素?fù)p失、感知損失、風(fēng)格損失和總方差損失。還使用通用GAN損失函數(shù)。

鑒別器

該鑒別器有SNPatchGAN結(jié)構(gòu)。同時(shí)，也使用3×3大小卷積內(nèi)核，并應(yīng)用了gradient penalty損失。還增加了額外的一項(xiàng)，避免了鑒別器輸出patch的值接近于零。

總體損失函數(shù)如下：

其中，發(fā)生器用LG進(jìn)行訓(xùn)練，鑒別器用LD進(jìn)行訓(xùn)練。D(I)是鑒別器給定輸入I的輸出。

而當(dāng)編輯大面積區(qū)域時(shí)，額外損失(如Lstyle和Lpercept)是非常關(guān)鍵的。

多種場景修圖俱佳，AI修圖大師大顯身手

那么，這款A(yù)I修圖大師的修圖結(jié)果如何呢？

首先將結(jié)果與Coarse-Refined net結(jié)構(gòu)和U-net結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行了比較。在測試Coarse-Refined net結(jié)構(gòu)時(shí)，注意到細(xì)化階段模糊了輸出。而下圖便展示了在Coarse-Refined net上使用本文方法后的結(jié)果。

在U-net和Coarse-Refined net上使用本文方法后的結(jié)果

本文的系統(tǒng)不僅在上述細(xì)節(jié)方面，在大面積區(qū)域修改方面也是具有優(yōu)勢的。

有/沒有VGG損失的訓(xùn)練結(jié)果

在處理自由形狀遮掩情況時(shí)，本文系統(tǒng)所產(chǎn)生的結(jié)果也較好。

與Celebf-HQ驗(yàn)證集上的Deepfillv1進(jìn)行定性比較

下圖顯示了使用草圖和顏色輸入的各種結(jié)果。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠使用戶很直接地編輯人臉圖像的發(fā)型、臉型、眼睛、嘴巴等特征。

系統(tǒng)的面部圖像編輯結(jié)果。 它表明系統(tǒng)可以正確地改變面部的形狀和顏色。 還表明可以用于改變眼睛的顏色或擦除不必要的部分。 特別是右下角的兩個(gè)結(jié)果表明系統(tǒng)也可以用于新的發(fā)型修飾。

GAN生成的圖像結(jié)果通常顯示出對訓(xùn)練數(shù)據(jù)集的高度依賴性。在本研究中，研究人員將HED應(yīng)用于所有的區(qū)域，通過調(diào)度它來擴(kuò)展掩蔽區(qū)域，能夠獲得特殊的結(jié)果，產(chǎn)生面部圖像和耳環(huán)。

下圖顯示了這些有趣結(jié)果的選擇。這些例子表明，該網(wǎng)絡(luò)能夠?qū)W習(xí)小細(xì)節(jié)，即使是很小的輸入也能產(chǎn)生合理的結(jié)果。

特別的結(jié)果

總結(jié)

本文提出了一種基于端到端可訓(xùn)練生成網(wǎng)絡(luò)的自由形狀掩模、草圖、顏色輸入的圖像編輯系統(tǒng)。

實(shí)驗(yàn)結(jié)果表明，與其他研究相比，該網(wǎng)絡(luò)架構(gòu)和損失功能顯著改善了修復(fù)效果。并在許多情況下顯示了各種成功和逼真的編輯結(jié)果。

該系統(tǒng)在一次性修復(fù)大面積區(qū)域方面表現(xiàn)極佳，使用者不需要費(fèi)力就可以產(chǎn)生高質(zhì)量和逼真的效果。

堪稱AI修圖大師！